Python 有什么开源的框架或包能够抓取全站所有链接？

This topic created in 3683 days ago, the information mentioned may be changed or developed.

PS ：别让我自己写了，老板要我明天汇报，我刚才写完毕业论文。。。

5 replies • 2016-05-08 23:52:27 +08:00

cxyfreedom

May 8, 2016 via iPhone

BeautifulSoup ？

sensui7

May 8, 2016

怎么才能赢取百富镁啊, 别让我目己努力了, 我朙天就想追到, 我才刚撸完

UnisandK

May 8, 2016

这是要做搜索引擎爬虫吗
我觉得单这么个小功能你现在开始写来得及的。。

HanSonJ

May 8, 2016

@cxyfreedom 这只是解析 html 的包而已，我想要的是给一个链接就拿到全站的所有链接

@UnisandK 不是搜索引擎，我觉得我现在用 pyspider+redis 似乎还来得及。。。

HanSonJ

May 8, 2016

@UnisandK 基本写好了。。。这贴可以终结了。。。