neurocomputing
V2EX  ›  问与答

运营商普遍不给公网 IP 之后是不是对爬虫是个好事儿?

  •  
  •   neurocomputing · Aug 3, 2017 · 3480 views
    This topic created in 3231 days ago, the information mentioned may be changed or developed.

    如题

    是不是意味着被爬目标通过限制 IP 访问频率不如以前奏效了呢?

    8 replies    2017-08-03 16:33:26 +08:00
    lgh
        1
    lgh  
       Aug 3, 2017 via iPhone
    不是更容易被误伤了吗?
    neurocomputing
        2
    neurocomputing  
    OP
       Aug 3, 2017
    @lgh 是的,所以 IP 频率限制会逐渐变松,否则就有可能拦住很多正常用户了吧
    jiangzhuo
        3
    jiangzhuo  
       Aug 3, 2017
    理论上讲公开的网站是禁止不了爬虫的对不对?
    我们这有款智能路由产品可以提供代理功能,可以通过平台使用这些家用路由作为爬虫代理,不知道对这种产品有没有兴趣(这只是实验产品
    nodeath
        4
    nodeath  
       Aug 3, 2017
    通过 ip 限制爬虫很头疼,云爬虫 ip 库量非常大
    XiaoxiaoPu
        5
    XiaoxiaoPu  
       Aug 3, 2017 via iPhone   ❤️ 2
    @jiangzhuo 这叫智能?明明是流氓。
    neurocomputing
        6
    neurocomputing  
    OP
       Aug 3, 2017
    @jiangzhuo 这主题都有机会插进来广告。。。
    UnisandK
        7
    UnisandK  
       Aug 3, 2017
    @jiangzhuo 老铁,你家智能路由叫什么,以后我买的时候绕着走
    jiangzhuo
        8
    jiangzhuo  
       Aug 3, 2017
    @XiaoxiaoPu #5
    @neurocomputing #6
    @UnisandK #7
    这产品还在停留在原型阶段,我觉得也不会真正成为产品
    要绕路的,我建议还是买回去刷自己喜欢的系统吧,牌子型号太多。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2724 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 38ms · UTC 15:25 · PVG 23:25 · LAX 08:25 · JFK 11:25
    ♥ Do have faith in what you're doing.