在 v2 看到好多次说不建议使用 pyspider 的，但是目前公司主要用的就是这个，因为他的可视化界面。
所以，pyspider 到底都有哪些坑？有个印象好避免。
所以，pyspider 到底都有哪些坑？有个印象好避免。
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 2901 days ago, the information mentioned may be changed or developed.
Supplement 1 · Jun 29, 2018
最近遇到的比较多的一个问题是，比如依次读取一个 100 万行的文件，作为 get 请求的一个 url 参数，但是读到 30 多万就停了。这一百万是去重后的一百万。
 |
1
hahastudio Jun 29, 2018
|
 |
3
X-Force Jun 30, 2018
|
 |
4
P2P0Zj31DA4X5ap4 Jul 1, 2018
100 万行你要用数据库了吧，默认哪个 lite 的支持不了。
|
 |
5
dfwr3 Jun 26, 2020
我也遇到过，在抓取网页时，a 链接明明有 30 条，但他只能抓到 2 条。换一个列表页又正常了，感觉是 html 中的特殊隐藏字符的原因，现在也没解决。
|
Select Language