• 请不要在回答技术问题时复制粘贴 AI 生成的内容
lixia625
V2EX  ›  程序员

一百万条数据对多列作 join,单机 Mac(16G 内存) 解决方案

  •  
  •   lixia625 · Apr 28, 2018 via Android · 3529 views
    This topic created in 2962 days ago, the information mentioned may be changed or developed.
    如题,刚刚试了一下用 Pandas.merge 内存炸了。
    5 replies    2018-04-28 17:20:44 +08:00
    lixia625
        1
    lixia625  
    OP
       Apr 28, 2018 via Android
    据说 pandas 的 merge 是专门优化过的算法,那是不是意味着就算我把数据导入数据库用 sql 来做内存也顶不住?
    rrfeng
        2
    rrfeng  
       Apr 28, 2018 via Android
    什么样的数据什么样的 join ?这种肯定要根据具体情况优化了。
    100w 也没有 16G 吧?一条多大?
    lixia625
        3
    lixia625  
    OP
       Apr 28, 2018 via Android
    @rrfeng 十多列 普通的数字字符类型 数据本身不大,几百 M 吧,两个同样规模的表作 join
    resuly
        4
    resuly  
       Apr 28, 2018
    使用 chunk 试一下?
    data2world
        5
    data2world  
       Apr 28, 2018
    上代码,谢谢
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2898 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 09:12 · PVG 17:12 · LAX 02:12 · JFK 05:12
    ♥ Do have faith in what you're doing.