201013-UnicodeDecodeError: 'gb2312' codec can't decode byte

文章目录
  1. II. 其他
    1. 1. 一灰灰Blog: https://liuyueyi.github.io/hexblog
    2. 2. 声明
    3. 3. 扫描关注

今天写个python爬虫时,发现一个有意思的问题,因为不同的目标网站的编码可能并不一样,所以再进行文本解析时,直接使用response.charset返回的编码格式进行处理文本,结果出现了上面这个问题,解决方法也比较简单,改用gbk即可

1
2
3
4
5
6
7
8
9
10
fp = open(file, 'r', encoding='gb2312')
# 替换为
fp = open(file, 'r', encoding='gbk')

### http访问方式
if response.charset == 'gb2312':
code = 'gbk'
else:
code = response.charset
raw = await response.text(encoding=code)

II. 其他

1. 一灰灰Bloghttps://liuyueyi.github.io/hexblog

一灰灰的个人博客,记录所有学习和工作中的博文,欢迎大家前去逛逛

2. 声明

尽信书则不如,以上内容,纯属一家之言,因个人能力有限,难免有疏漏和错误之处,如发现bug或者有更好的建议,欢迎批评指正,不吝感激

3. 扫描关注

一灰灰blog

QrCode

# Python

评论

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×