关闭

python3encode字符串且open写入文件乱码

来源:网络 文章列表 2019-06-10 8
python里写入文件出现乱码通常都是因为编码导致的。很多人说我已经encode设置为utf-8了呀,怎么还会出现乱码呢?其实这里涉及到2个编码的问题.1、字符串的编码,比如我们爬虫返回的text的编码.文件的编码

python里写入文件出现乱码通常都是因为编码导致的。很多人说我已经encode设置为utf-8了呀,怎么还会出现乱码呢?

其实这里涉及到2个编码的问题

1、字符串的编码,比如我们爬虫返回的text的编码

2、文件的编码

要想不出现编码,必须保证文字的编码和文件的编码一致。

例子

from urllib import request
#json解析库,对应到lxml
import json
#json的解析语法,对应到xpath 如果不存在则需要 pip install jsonpath
import jsonpath


url = "http://www.lagou.com/lbs/getAllCitySearchLabels.json"
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:67.0) Gecko/20100101 Firefox/67.0"}
my_request = request.Request(url, headers = headers)
response = request.urlopen(my_request)
#取出json文件里的内容,返回的格式是字符串
html = response.read()

#把json格式字符串转化为python对象,此处返回的是一个Unicode字符
unicodeStr = json.loads(html)

#从根节点开始,匹配name节点
city_list = jsonpath.jsonpath(unicodeStr, '$..name')

#dumps() 默认中文为ascii编码格式,ensure_ascii 默认为True
#禁用ascii编码格式,返回的Unicode字符串,方便使用
str = json.dumps(city_list, ensure_ascii = False)
#将Unicode字符串的编码改为utf-8
str = str.encode('utf-8').decode('utf-8')
#文件打开的时候需要保存编码为utf-8
with open("city.json", "w", encoding='utf-8') as f:
	f.write(str)

 

说明

1、str = str.encode('utf-8').decode('utf-8')。在Python3中,encode后的字符串格式变成了bytes格式了,因此我们这里又进行一次decode,将转换后的utf-8编码的bytes类型转化为string类型。

2、open("city.json", "w", encoding='utf-8') 打开文件,如果文件不存在,window系统新建文件时默认为ANSI格式编码,不支持中文。所以,我们应该尽量加上新建文件的编码类型。

 

字符串编码转换

# 1. 因为Python3默认字符串是unicode格式
unicodeStr = "你好地球"
print(unicodeStr) 

# 2. 再将 Unicode 编码格式字符串 转换成 GBK 编码
gbkData = unicodeStr.encode("GBK") print(gbkData) 


# 1. 再将 GBK 编码格式字符串 转化成 Unicode
unicodeStr = gbkData.decode("gbk") print(unicodeStr) 

# 2. 再将 Unicode 编码格式字符串转换成 UTF-8
utf8Str = unicodeStr.encode("UTF-8") print(utf8Str)

 

如您看完博文,仍不会的话,本站长提供付费技术支持服务,价格不高! 立即咨询

腾讯云限量秒杀

1核2G 5M 50元/年 2核4G 8M 74元/年 4核8G 5M 818元/年 CDN流量包 100GB 9元

版权声明

本站部分原创文章,部分文章整理自网络。如有转载的文章侵犯了您的版权,请联系站长删除处理。如果您有优质文章,欢迎发稿给我们!联系站长:
愿本站的内容能为您的学习、工作带来绵薄之力。

评论

  • 随机获取
点击刷新
精彩评论