Dannytmp
V2EX  ›  问与答

如何大规模爬狗家和猫家的商品信息又不被 BAN,有什么绝窍吗?

  •  
  •   Dannytmp · Oct 28, 2017 · 2303 views
    This topic created in 3144 days ago, the information mentioned may be changed or developed.

    想扒些数据来分析分析,扒少了看不出规律,扒多了人家又有意见,想找个窍门避开。

    9 replies    2017-10-30 14:48:25 +08:00
    ranleng
        1
    ranleng  
       Oct 28, 2017 via Android   ❤️ 1
    直接要数据.
    或者 代理 ip
    或者 找些开放的数据分析分析
    whatsmyip
        2
    whatsmyip  
       Oct 28, 2017   ❤️ 1
    IP 要多,下手要轻
    odirus
        3
    odirus  
       Oct 28, 2017 via Android   ❤️ 2
    让大家在浏览器安装插件,然后每个人就是一个数据采集源。

    不知道网易慧慧是不是这样的,纯属猜测。

    这个方案的难点是怎么让第一批用户安装插件,大厂天生有优势。
    shapl
        4
    shapl  
       Oct 28, 2017   ❤️ 1
    猫家有 API,狗家不清楚。
    hellojay
        5
    hellojay  
       Oct 28, 2017 via iPhone   ❤️ 1
    @odirus 是这样
    geekboy
        6
    geekboy  
       Oct 28, 2017   ❤️ 1
    16 年爬过狗家与猫家,猫家没代理 ip 基本不行,狗家还好~
    Dannytmp
        7
    Dannytmp  
    OP
       Oct 28, 2017
    @shapl 需要哪个级别的 API ?
    shapl
        8
    shapl  
       Oct 30, 2017   ❤️ 1
    @Dannytmp 你去 X 宝开放平台找,百川无线,有个获取商品详情的,不知合不合你要求。随便申请得到。
    Dannytmp
        9
    Dannytmp  
    OP
       Oct 30, 2017
    @shapl 谢谢
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1068 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 17:56 · PVG 01:56 · LAX 10:56 · JFK 13:56
    ♥ Do have faith in what you're doing.