为什么买到的代理都被识别出来了，自己的 ip 又可以爬取，但是爬取评论必须要 cookie，所以我怀疑是不是 ip 被加密到 cookie 里面，有没有老哥说说
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 2828 days ago, the information mentioned may be changed or developed.
 |
1
scukmh Sep 9, 2018
这不是很正常的操作嘛？自己做一下 Web 开发就知道了啊，很多框架，比如 flask-login，默认的安全级别就是会加入 ip 地址验证的，建议你去爬手机客户端还靠谱一点。
|
 |
2
Mrrrrr10 OP 客户端的信息被隐藏了，都是乱码
|
 |
3
fork3rt Sep 10, 2018
我做过大众点评的采集，貌似是这样的。不过我的解决方案就是 IP 代理池，完全没问题啊。
|
 |
4
rocketman13 Sep 10, 2018
代理 ip 也分质量的
|
 |
7
fx0719 Sep 12, 2018
大佬能分享下代码吗？谢谢
|
|
10
fork3rt Sep 12, 2018
@Mrrrrr10 嗯，我也抓的评论。 貌似有 302 的情况，不过我做了判断，只处理 status_code 200,其他的情况 我都是立刻更换代理，然后重试。
|
|
14
fork3rt Sep 14, 2018
|
 |
15
qybing Sep 14, 2018 via iPhone
我也是遇到这个问题，似乎 IP 代理被识别出来了，你们都是登录过去抓的吗？如果要大规模抓取，这样岂不是要有很多账号？
|
|
16
fx0719 Sep 17, 2018
楼主 github 地址多少，我关注一波
|
 |
17
yxh18600224123 Oct 9, 2018
最近几天在爬,使用的芝麻 HTTP 代理 ip,付费的,遇到最后有评论的详情页面,就会被秒识别代理,直接 ban.而用本机 ip 可以正常获取几十个商户的信息,然后需要验证,暂时没找到解决办法.想找到怎么用付费的代理爬取
|
Select Language