网站突然有大量的百度爬虫访问，频次特别高，每秒几乎上百请求，都是不存在的页面。 而且查证确实是百度的爬虫，请问这是啥情况？
This topic created in 3732 days ago, the information mentioned may be changed or developed.
 |
1
UnisandK Mar 20, 2016
 像这种地方是可以让百度的爬虫去爬你的网站的 DNS 先把百度爬虫解析到 127.0.0.1 去吧 |
 |
2
DesignerSkyline Mar 20, 2016
上纯 CHACHA20_POLY1305 ，百度就会失去爬取你网站的兴趣了。。。。
|
 |
3
Andy1999 Mar 20, 2016 via iPhone
有种东西叫 UA 伪造
|
 |
5
lecher Mar 20, 2016
也许不是百度的爬虫，只是伪造了百度爬虫的 useragent 。
实际上百度如果有每秒几百的抓取频率，那就要笑疯了，赶紧构造界面刷 SEO 排名去，这能构造多少百度收录出来啊。 |
 |
7
bazingaterry Mar 20, 2016 via iPhone
@des 我当年也是，百度爬虫能把我个人网站爬死机，后来用 IPTABLES DROP 了就好了……
|
 |
8
dzxx36gyy Mar 20, 2016 via Android
去注册百度站长，然后调整爬虫抓取频率
|
Select Language