用 scrapy 写了一个爬虫,之前在其他服务器上和本地都可以跑的很好
今天换了个 ubuntu 服务器,发现报编码错误:
print('############\u7ed3\u675f\u5566' + spider.name)
UnicodeEncodeError: 'ascii' codec can't encode characters in position 12-14: ordinal not in range(128)
这里连代码里写死的 print 语句,都显示不了中文,本来应该是:
print('############开始啦'+spider.name)
每个 py 文件的开头也都加了
'# -- coding: utf-8 -- '
查了 python3 的 getdefaultencoding 结果 utf-8
以前在 python2.7 下这样好解决,但是 python3 怎么会这样... 麻烦问下这个可能是什么原因?
1
ipwx 2018 年 1 月 1 日
因为 console 是字节流输出,不能输出 unicode 字符串,而 python3 的字符串常量是 unicode。当你 print 中文,python 内部会自动转码。而这个转码可能受很多因素影响,所以不好处理。
试试 click.echo,或者 logging。 |
2
ipwx 2018 年 1 月 1 日
|
3
likuku 2018 年 1 月 1 日
@ipwx 字节流输出 ? 指 bytes 类型?那么得到的结果在 print 之前先作一次解码试试:
_str_out = _raw_bytes_out.decode('utf-8') print(_str_out) |
4
noqwerty 2018 年 1 月 1 日 via iPhone 我之前在学校的上古服务器也遇到过这个问题,最后发现是 locale 出了问题,解决方法是在最开始加上:
import locale locale.setlocale(locale.LC_ALL, 'en_US.UTF-8') |
5
ivechan 2018 年 1 月 1 日
这个是终端的问题, 你终端不支持 Unicode, 但是 Python 里又是 Unicode 的输出, 就冲突了.
|
6
ipwx 2018 年 1 月 1 日
|
7
just1 2018 年 1 月 1 日 via Android
我猜你用了 supervisor ?
|
8
kmahyyg 2018 年 1 月 1 日 via Android
str(byte object.encode('utf-8'))
|
9
Sylv 2018 年 1 月 2 日 via iPhone
终端的 locale 没设置好,导致 Python 对终端的输出编码识别为了 ascii,而 ascii 无法 encode Unicode,于是就报错了。
|
10
mununo 2018 年 1 月 2 日
export LC_ALL='en_us.utf8' 添加到 ~/.bashrc 中。en_us.utf8 这种 locale 串分别是 [语言_地区.字符集], zh_cn.utf8 代表 zhongwen_China.utf8,虽然都是 UTF8 但是不同语言和地区的日期显示,金钱符,吧啦吧啦的显示不一样。
|