cqcn1991
V2EX  ›  问与答

怎样爬 app 的数据?

  •  
  •   cqcn1991 · Jul 4, 2016 · 3826 views
    This topic created in 3627 days ago, the information mentioned may be changed or developed.

    现在很多都是 app 浏览信息了 想做爬虫爬 app 的数据,不知道可不可能?有啥可以参考的资料?

    有的明显是 webview + 内容,那么可以抓出相应地址,然后解析 html?

    11 replies    2016-07-04 14:41:05 +08:00
    RockyLee
        1
    RockyLee  
       Jul 4, 2016
    技术上应该就是用代理抓包吧
    xujialiang
        2
    xujialiang  
       Jul 4, 2016
    先用抓包工具抓 Url ,然后看 url 规则,请求返回的大部分应该是 json ,解析 json 。
    stcasshern
        3
    stcasshern  
       Jul 4, 2016 via iPhone
    先下个 fiddle ?(好久没用)看下请求,然后看下 pc 上能否请求得到数据
    stcasshern
        4
    stcasshern  
       Jul 4, 2016 via iPhone
    fiddler
    l0wkey
        5
    l0wkey  
       Jul 4, 2016
    抓接口,模拟请求
    kchum
        6
    kchum  
       Jul 4, 2016
    masOS 上 Charles
    Bown
        7
    Bown  
       Jul 4, 2016
    随便一个抓包工具, Charles 什么的
    一般的读接口都是 get 的, json 结构,直接就能拿到;写接口大部分带有 signature 类的校验参数,可以反编译 app 看看能不能找到签名算法以及 key 什么的
    当然微信这种非 http 自己封装的协议就搞不定了
    cqcn1991
        8
    cqcn1991  
    OP
       Jul 4, 2016
    @kchum
    @Bown
    @stcasshern

    有没有啥视频教程之类的?因为很大一部分是 workflow 不熟悉。比如,抓包软件在电脑上,但是 app 在手机上,这怎么办?
    justlikemaki
        9
    justlikemaki  
       Jul 4, 2016
    电脑装个 fiddler ,手机和电脑一个局域网内,手机连 fiddler 的代理服务就行了啊。
    ixiaozhi
        10
    ixiaozhi  
       Jul 4, 2016
    surge 抓,然后分析
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   4159 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 71ms · UTC 04:13 · PVG 12:13 · LAX 21:13 · JFK 00:13
    ♥ Do have faith in what you're doing.