imlonghao
17.32D
2.84D
V2EX  ›  V2EX

[预告] 最新的 V2EX 收藏 Top 50 即将完成

  •  
  •   imlonghao · Feb 2, 2015 via Android · 4933 views
    This topic created in 4142 days ago, the information mentioned may be changed or developed.
    类似的帖子 /t/77480 /t/41746

    这是我所搜到的相关的排名帖子,如今,V2EX的帖子已经番了一番,现在的ID已经快16W了,最近7W似乎没有想类似的帖子了。

    于是乎,我又想做一次相关的帖子。

    爬虫目前正以每分钟12个帖子的速度爬取V2EX,预计10天后可以爬完V2EX...........
    (只有一台VPS,一个IP,绕不过V2EX的防CC策略,因为实在太牛逼了防护)

    有点遗憾的是,我忘记了采集评论数,所以这次可能会没有评论的排名。

    本次会有的东西,
    收藏 Top 50
    感谢 Top 50
    发帖最多的作者 Top 20
    或者其他我没想到的
    ......
    如果需要其他排名的话可以告诉我,我会在下一次中加上。


    ----
    目前的成品,
    Segmentfault和Segmentfault的博客
    http://esd.cc/ V2EX的数据也会在此发出..

    网站采用Django,可以在Github上看到源码

    感谢!
    Supplement 1  ·  Feb 6, 2015
    截止目前,已经采集55000个页面左右
    不过预计需要更长一点的时间
    Supplement 2  ·  Feb 7, 2015
    目前正采用4IP进行爬取....
    每个IP均是12个页面每分钟
    累啊......
    9 replies    2015-02-08 18:07:05 +08:00
    illuz
        1
    illuz  
       Feb 2, 2015
    很炫酷的样子,坐等
    tanyuxiang
        2
    tanyuxiang  
       Feb 2, 2015
    已收藏此帖。。。
    worldask
        3
    worldask  
       Feb 3, 2015
    坐等10天
    hjc4869
        4
    hjc4869  
       Feb 3, 2015
    楼主我要赞助你IP,蛤蛤
    huasha
        5
    huasha  
       Feb 3, 2015
    期待!
    yuanji
        6
    yuanji  
       Feb 3, 2015 via iPhone
    @Livid 轻轻一笑,写下一行 SQL。
    phoenixlzx
        7
    phoenixlzx  
       Feb 3, 2015
    .... V2EX 用的不是 SQL 吧....
    Mihuwa
        8
    Mihuwa  
       Feb 3, 2015 via iPhone
    还以为站长换头像了……
    imlonghao
        9
    imlonghao  
    OP
       Feb 8, 2015
    @Mihuwa @phoenixlzx @jyjmrlk @huasha @hjc4869 @worldask @tanyuxiang @illuz
    大概后天就OK了.........
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2995 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 44ms · UTC 07:09 · PVG 15:09 · LAX 00:09 · JFK 03:09
    ♥ Do have faith in what you're doing.