cool1205
V2EX  ›  数据库

求助千万级数量字符串快速读取方法

  •  
  •   cool1205 · Mar 12, 2021 · 2152 views
    This topic created in 1914 days ago, the information mentioned may be changed or developed.

    各位大佬,小弟最近遇到一个问题,我这里现在有两千万多个独立字符串,字符串长度平均在 64 左右,想请问有没有比较好的存储方式,能否达到秒级甚至毫秒级读取这些数据

    6 replies    2021-03-13 08:39:51 +08:00
    DoctorCat
        1
    DoctorCat  
       Mar 12, 2021   ❤️ 1
    阐述的不够清晰,读取是随机 /顺序读,还是要做字符搜索匹配?
    FucUrFrd
        2
    FucUrFrd  
       Mar 12, 2021 via Android
    Redis 秒秒钟的,不要 HBASE 浪费机器
    favourstreet
        3
    favourstreet  
       Mar 12, 2021 via Android
    两千万个,全连成一串也就 1 ~ 10GB,遍历一遍都可以做到秒级……
    Slartibartfast
        4
    Slartibartfast  
       Mar 13, 2021 via iPhone
    如果是为了随机读的话,放内存里就 redis,放磁盘上就 rocksdb 。

    如果是顺序读,直接排好序放到磁盘上就行了。
    lostpg
        5
    lostpg  
       Mar 13, 2021 via Android
    本来想说用布隆过滤器的,后来想想干脆直接上 kv 吧
    xarthur
        6
    xarthur  
       Mar 13, 2021 via iPhone
    这个东西如果每个字符 4 个字节,也才 4 个多 G,8 个字节也 10 个 G 不到,随便找个内存数据库存就行了……
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2737 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 45ms · UTC 15:25 · PVG 23:25 · LAX 08:25 · JFK 11:25
    ♥ Do have faith in what you're doing.