python抓某网站的数据，有什么可以模拟浏览器的吗？

This topic created in 4544 days ago, the information mentioned may be changed or developed.

是这样的
要登陆某网站才可以抓数据

主要是他的登陆算法，无法破解，而且就算破解了，他也是一天一变，几个小时变化一次

所以我完全放弃破解他的算法的想法

如果我模拟浏览器登陆的话，只需要让浏览器自动填写表单，登陆即可，

之前用的qt c++开发的，用的webkit 做浏览器，然后登陆，获取内容，然后进行操作

现在换python，于是我用pyqt来做浏览器辅助我获取数据，但这样的话，好累赘

有没有轻一点的框架可以替代我的浏览器

不晓得我描述清楚了没

求大家帮助

浏览器

登陆

破解

17 replies • 2016-12-19 01:04:43 +08:00

imom0

Dec 29, 2013

把登录了的cookies导出行么，然后给爬虫用。

Kjuly

Dec 29, 2013

mechanize 或者 selenium

kevinroot

Dec 29, 2013

requests不行？是有验证码？

geeklian

Dec 29, 2013 via iPad

想起来曾经单位内部网站上抓取数据，.net，的post请求里的一堆东西不知道干啥的。python抓不下来，结果我换的autoit+ie8...直接模拟鼠标键盘操作了。

fdsfsdfsdf3334

Dec 30, 2013

@imom0 软件需要长期在服务器上运行，cookies 3天过期

fdsfsdfsdf3334

Dec 30, 2013

@kevinroot 没有验证码，但不排除以后他可能增加验证码

fdsfsdfsdf3334

Dec 30, 2013

@Kjuly 哦谢谢我研究下

airyland

Dec 30, 2013

为了对付某站验证码在用的采集方法：
NodeJS + socket.io + phantomjs

1.建socket服务端

2.phantomjs 打开目标网站，执行表单填写，如果有验证码，则render一张图，调用stdin来手工输入验证码。在phantomjs里每隔一段时间执行get页面操作保持会话。与服务端建立socket连接

3.用NodeJS或者浏览器端javascript连接到socket服务端并发送采集请求，phantomjs里面收到请求并获取数据发送到客户端

done...

fdsfsdfsdf3334

Dec 30, 2013

@airyland 3Q

lijinma

Dec 30, 2013

@airyland phantomjs 很好很强大。

Stile

Dec 30, 2013

来个投机取巧的，这网站有手机版的么？有的话直接模拟手机不得了，改下UA就好，想咋弄咋弄！

fdsfsdfsdf3334

Dec 30, 2013

木有手机版的
@Stile

Stile

Dec 30, 2013

@fdsfsdfsdf3334 地址呢？我换UA试试。。嘿嘿好奇中

fdsfsdfsdf3334

Dec 30, 2013

@Stile 淘宝

Stile

Jan 1, 2014

@fdsfsdfsdf3334 淘宝啊，你是想编辑商品？那用淘宝助理就可以了，没必要抓来抓去的。。。

Stile

Jan 1, 2014

@fdsfsdfsdf3334 淘宝也有手机版的啊，你可以登录 m.taobao.com 试试

ibopo

Dec 19, 2016

scrapy-js