一在线爬虫, 可以在 web 添加目标地址, 然后调用 java 去干活。 现在有个问题就是, 如果同一时间, 提交好几个网址, 那么服务器就极其缓慢并且有挂掉几率。 所以 有什么思路, 可以把提交做成一个队列, 一个一个的去调用 java 呢?
一在线爬虫, 可以在 web 添加目标地址, 然后调用 java 去干活。 现在有个问题就是, 如果同一时间, 提交好几个网址, 那么服务器就极其缓慢并且有挂掉几率。 所以 有什么思路, 可以把提交做成一个队列, 一个一个的去调用 java 呢?
1
zonghua Jan 21, 2016 via iPhone
一个个访问,就没有并发了啊
|
2
Ouyangan Jan 21, 2016
塞到队列去吧
|
3
SoloCompany Jan 21, 2016
连个 Thread Pool 都没有的也能叫爬虫?
|