单页面抓取毋庸置疑差不多，但涉及大量URL需要访问的时候：JAVA的爬虫框架轻松实现多线程；PHP有框架能够这样吗？不行的话我就得自己写multi_curl....
This topic created in 3978 days ago, the information mentioned may be changed or developed.
 |
1
laoyuan Jul 19, 2015
看过一篇百度团队的文档，PHP 的真 multi curl
|
 |
2
chengzhoukun Jul 19, 2015 via Android
Python和go很好吧，用协程库
|
 |
3
shierji Jul 19, 2015
表示最近要爬google。。。。还要刻意限制速度的说。
|
 |
4
wkdhf233 Jul 19, 2015
多开几个socket，先把所有请求发完再去处理返回
|
 |
5
msg7086 Jul 19, 2015
php轻松实现多进程。
|
 |
6
haiyang416 Jul 19, 2015 via Android
Rolling cURL。
|
 |
7
zts1993 Jul 19, 2015 via iPhone
python更好。
|
 |
8
mahone3297 Jul 19, 2015
php可以多进程
也可以多线程 http://php.net/manual/en/intro.pthreads.php |
 |
9
orvice Jul 19, 2015
多线程还是go写吧。。。
|
 |
10
Comdex Jul 19, 2015
golang很妥当
|
Select Language