使用 scrapy 爬虫抓取代理网站,获取大量的免费代理 ip 。过滤出所有可用的 ip ,存入数据库以备使用。
从项目开源以来收到了各位 V 友大神的指点,也不断的优化完善羡慕,目前在第一次开源之后做出了如下重大更改:
- 添加验证次数,如果验证次数越大,表示该代理 ip 越稳定
- 多进程分别验证每一个站点,比如 豆瓣、京东 是在两个不同的进程同时验证,更加保证了代理 IP 的有效性
- 更改了 mysql 连接库,从 mysql-connector-python 换成了 pymysql ,并且插入支持事务
- 完善了服务器接口参数
- 添加了更多代理 IP 站点,目前大概支持 10 个免费代理 IP 站点
github 地址: https://github.com/awolfly9/IPProxyTool
请各位 V 友继续敬请雅正、不舍赐教~
PS:开源真的让我认识了很多 V 站的朋友,也让我受益匪浅,如果你对项目有任何的意见和建议,欢迎加我微信指点 QXdvbGZseQ==(base64)
)
)