推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
同时抓取 10 个网站的网页，是用 multithread 还是 multiprocess？
leafonsword · leafonsword · 2014 年 7 月 24 日 · 4830 次点击这是一个创建于 4204 天前的主题，其中的信息可能已经有所发展或是发生改变。
循环10次太慢了，我想同时进行,我也知道multithread有GIL锁,所以multiprocess貌似是不错选择？
我还听说过一些其他高并发项目,如：gevent、stackless、pypy,这些和官方多进程有何区别？
我还听说过一些其他高并发项目,如：gevent、stackless、pypy,这些和官方多进程有何区别？
 |
1
wy315700 2014 年 7 月 24 日  1
multiprocess + pool 比较好
multithread + gevent也可以 |
 |
2
heiher 2014 年 7 月 24 日 via iPhone 3
线程用来使用cpu资源的，像这种基本就是I/O为主，使用异步I/O不就好了。
|
 |
3
binux 2014 年 7 月 24 日
GIL锁是锁语句执行的，IO等待又不会被锁
|
 |
4
bigdude 2014 年 7 月 24 日
gevent
|
 |
5
ffffwh 2014 年 7 月 24 日
异步+1
|
 |
6
C0VN 2014 年 7 月 24 日
我之前测试的时候，threading比gevent快耶。
|
 |
7
pandada8 2014 年 7 月 24 日 via Android
处理速度永远大于你的抓取速度
|
 |
8
withrock 2014 年 7 月 25 日
我之前写过抓取糗事百科的虫，我的CPU有4个核，用threading的话，CPU的使用率不会超过25%。
|
 |
9
Zuckonit 2014 年 7 月 25 日
gevent吧
|
 |
10
kingxsp 2014 年 7 月 25 日
gevent 或者 asyncio
|
 |
11
lianghui 2014 年 7 月 25 日
prefork span with multithread
|
Select Language