有无爬取整站 url 的工具呢?

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 4111 天前的主题，其中的信息可能已经有所发展或是发生改变。

大概几百万页面，只想拿到其url即可。
想自己写python，试了试，力不从心囧～

所以上来问下有无一些现成的工具可以爬。

谢谢大家！

10 条回复 • 2014-10-31 11:33:27 +08:00

muziyue

2014 年 10 月 31 日

老虎sitemap生成器:)

TONYHEAD

2014 年 10 月 31 日

XENU

llhh

2014 年 10 月 31 日

@muziyue
@TONYHEAD
这两个工具，3百万页面可以吗？

muziyue

2014 年 10 月 31 日

@llhh 没试过，我现在十万多要跑一个下午……

iscraft

2014 年 10 月 31 日

2楼说的xenu应该是最快的吧

llhh

2014 年 10 月 31 日

@TONYHEAD
@muziyue
@iscraft
我现在用screaming frog seo spider比xenu要强一些。
可以正则爬取，选择ua，速度……十万的话3个小时，当然要看网站速度嘛。

jqw1992

2014 年 10 月 31 日

touch

2014 年 10 月 31 日

python scrapy不是很好爬吗

sohu022

2014 年 10 月 31 日

用Scrapy，把规则写好，把response.url保存下来就行了。

simapple

2014 年 10 月 31 日

https://github.com/simapple/spider 去年早些时候写的，比较烂，希望能对你有帮助