今天爬知乎被封了，请问如何绕过反爬虫
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3571 days ago, the information mentioned may be changed or developed.
 |
1
UnisandK Aug 29, 2016
换 IP
|
 |
3
VicYu Aug 29, 2016
proxy list
|
 |
5
dsg001 Aug 29, 2016
单机几百线程爬知乎，爬 20+小时没问题，过了几天才被封
|
 |
7
582033 Aug 29, 2016
|
 |
9
masterzh01 Aug 29, 2016
|
 |
10
hippoboy Aug 29, 2016
好几台服务器装 Squid,自己做代理....
|
 |
11
creaer OP @masterzh01 3Q
|
 |
13
Allianzcortex Aug 29, 2016  1
换 UA ，换 IP ，多线程，设置等待时间。
我曾经有段时间买了个国外服务器安装 SS,然后连接上后走 Socks5 代理。被封的次数就很少。 |
|
14
creaer OP @Allianzcortex 设置等待时间好像没啥用，而且速度反而降低了
|
|
15
Allianzcortex Aug 29, 2016
@creaer 服务器要区分人和机器行为的重要依据就是访问频率啊，增加等待时间会更容易混淆服务器。设置等待时间也比较友好:-D
|
 |
16
7sDream Aug 29, 2016
可以尝试用知乎的 RESTful OAuth API ，比起访问网页版好像比较不容易被封。
具体资料我就不贴了。 |
|
19
creaer OP @Allianzcortex 难道是因为我设置的等待时间太短了
|
|
20
Allianzcortex Aug 30, 2016
@creaer https://segmentfault.com/a/1190000005840672 你可以看看这篇文章，看看携程反爬虫的思路。反爬虫最重要的是不能影响业务，不能使正常用户的访问受影响～
|
 |
21
ijustdo Aug 31, 2016
user agent 不停的换 最好比喻 ios android 。。。。。。
还有个大招 挂代理 控制爬去速度。。。。 |
Select Language