有做过搜狗微信爬虫的吗,遇到个问题列表的 url 不能直接访问...

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 2376 days ago, the information mentioned may be changed or developed.

报上我需要爬的页面
https://weixin.sogou.com/weixin?query=%E8%83%83%E7%99%8C&type=2&page=2&ie=utf8

标题详情图片就不说了现在是抓取详情页链接有点问题
https://i.loli.net/2019/12/05/8BUwOrAKyCEquoN.png

在浏览器里点击标题可以直接点开但是直接用这个 a 标签访问就出错
https://img03.sogoucdn.com/app/a/100520146/875f2270b05957ccaa5a83db3383a7f5

我抓包了一下发现 a 标签里面的链接是个'假链接' 真链接隐藏在这里
https://i.loli.net/2019/12/05/ExzM8A5QcUrVOwu.png

我现在就想去抓到真链接各位大佬有啥思路吗

7 replies • 2019-12-05 17:41:21 +08:00

yasumoto

Dec 5, 2019

看了网上挺多文章说是多了&k=1&h=f 但是我看现在列表 a 标签就自带&k=1&h=f 的

heiheidewo

Dec 5, 2019

带上 cookie

U7Q5tLAex2FI0o0g

Dec 5, 2019

请求链接的时候带上 referer 试试

iamdaguduizhang

Dec 5, 2019

这个啊，a 标签绑定的有监听事件的。点击的时候会生成一个新的 url，请求这个 url 会返回最终的文章链接的。

zixiaoguan

Dec 5, 2019

看样子是列表的每一项必须要通过 link 接口获取真实的页面地址并重定向。你也可以通过那个接口获取页面内容并解析

yasumoto

Dec 5, 2019

@iamdaguduizhang 对的是这个逻辑

yasumoto

Dec 5, 2019

有做过搜狗微信爬虫的吗,遇到个问题 列表的 url 不能直接访问...