有一个论坛，每天都有新的帖子发表，我想让爬虫每天只爬取新增的帖子，而不是把已经爬过的帖子都爬取一遍。这种需求该如何实现？求思路。。
• 外包信息请发到 /go/outsourcing 节点。
• 不要把相同的信息发到不同的节点
This topic created in 2871 days ago, the information mentioned may be changed or developed.
 |
1
caiem Jul 27, 2018 via iPhone
帖子是自增 id 么.增量时读取 max id 就行了嘛
|
 |
2
qsnow6 Jul 27, 2018 via iPhone
去爬帖子列表页， 每次都把当前页的 url 和数据库中的对比，如果没有重复的说明，这一夜都是新的 URL，然后下一页，直到出现部分重复或完全重复的页面
|
 |
3
thedog Jul 27, 2018 via Android
redis?
|
 |
4
fiht Jul 27, 2018 via iPhone
实现增量一个最简单的办法是每天抓取一下首页 链接。
|
Select Language