ssllff123's recent timeline updates
ssllff123

ssllff123

V2EX member #155553, joined on 2016-01-15 12:17:25 +08:00
ssllff123's recent replies
我已经解决了,如果用 celery , backend 不要用 rabbitmq ,因为, celery 会自动给每个任务的结果建立一个队列,所以队列越来越多,越来越多。

celery 确实不是队列,可能我的问题没有描述清楚。
Oct 17, 2016
Replied to a topic by dongweiming 推广 赠送几本《Python Web 开发实战》
54 祝股票顺利
Oct 10, 2016
Replied to a topic by 46fo 程序员 你们都用什么来做爬虫的
@for4 我和你想的一样,但是有些问题
1 ,是不是 celery 就可以自动多线程了。任务只需要实现爬虫的功能就可以了。
2 ,感觉并不快啊 。
3 ,可否有写好的项目看看
Sep 12, 2016
Replied to a topic by ssllff123 问与答 scrapy 如何多开
好吧 。发现多开并没有提高多少效率。现在能提高效率的应该就是 redis 了。
Sep 9, 2016
Replied to a topic by wangleineo 问与答 怎样设计一个分布式的爬虫服务?
@knightdf scrapy 实现了这个功能。 scrapy-redis 但是我正在学习中
@oceantree 能不能请教怎么处理的 js 啊
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2490 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 24ms · UTC 01:31 · PVG 09:31 · LAX 18:31 · JFK 21:31
♥ Do have faith in what you're doing.