想抓取V2EX的酷工作。
This topic created in 4789 days ago, the information mentioned may be changed or developed.
想抓取V2EX的酷工作。
 |
1
dreamage Apr 29, 2013
@ L 老板问问
|
 |
3
yibin001 Apr 29, 2013
http头里加一个referer=v2ex.com应该就好了
|
 |
4
swulling Apr 29, 2013
抓取是禁不了的
|
 |
5
orzfly Apr 29, 2013
同，ucweb（塞班）访问也是400。
（别pia我说换手机或者不用uc，你若真用塞班还是会觉得uc很有必要的） |
 |
6
hzlzh PRO 不用抓，api现成的，try：
http://v2ex.com/api/topics/show.json?node_id=43 |
 |
7
wuyamoyun Apr 29, 2013
塞班可以用opera正常
|
 |
8
jacy Apr 29, 2013
模拟成一个正常的浏览器试试，加上rederer,cookie之类的。
|
 |
9
iloahz Apr 29, 2013
借楼抱个不知道是特性还是bug的东西：在wp系统的uc浏览器中，后退键的结果是乱的。比如我访问首页->某主题，然后后退，有时就知道退到uc的首页了，也就是跳过了v2ex的首页
@Livid |
 |
10
GordianZ Apr 29, 2013
没有 user agent 的全部返回 400.
|
 |
11
mikuazusa Apr 29, 2013
|
 |
12
workaholic Apr 30, 2013  1
部分节点需要登录，肯定可以抓的
|
Select Language