首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
RickyC
V2EX  ›  问与答

百度每秒抓取很多次, 导致 CPU100%, 除了限制抓取频率, 还有别的什么方法?

  •   
  •   RickyC · 2020 年 12 月 10 日 · 1267 次点击
    这是一个创建于 1873 天前的主题，其中的信息可能已经有所发展或是发生改变。

    占 CPU 的进程是 php 不是 mysql, 那上 redis 也不好使吧?

  • CPU
  • MySQL
  • Redis
  • PHP
    2 条回复  •  2020-12-21 15:06:58 +08:00
    treblex
        1
    treblex  
       2020 年 12 月 10 日
    nginx 缓存 get 请求
    另，看看是不是其他问题吧
    ggabc
        2
    ggabc  
       2020 年 12 月 21 日
    假的了，百度站长那里可以控制采集密度
    你看到的压力，应该是爬虫或者攻击工具冒充的 ua
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   1185 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 18:04 · PVG 02:04 · LAX 10:04 · JFK 13:04
    ♥ Do have faith in what you're doing.