• 请不要在回答技术问题时复制粘贴 AI 生成的内容
leven5
V2EX  ›  程序员

怎么实现让 AI 对百万数据进行本地分析?

  •  
  •   leven5 · 17h 5m ago · 1497 views

    目前的需求是,获取服务端数据交给 workbuddy ,让 AI 根据我提供的列名自行编写脚本,过滤、汇总出用户想要的数据。

    由于没有参考对象,不知道应该怎么开发,我想的是:

    1. 写一个 MCP 获取数据,然后把数据集保存到 jsonl/xslx 等临时文件中,以 resource link 的形式返回给 AI ,并返回列名、字段类型、数据条数等元信息。
    2. AI 得到路径后,自己写脚本开始处理数据,然后返回给用户。

    但是我文件写到哪里?如果直接往 userdata 写的话,那垃圾文件只会越来越多,而且也不会随着对话的删除一并删掉。

    这种功能一般是怎么实现?只能是服务端分析完,把结果返回给 AI 吗?

    17 replies    2026-09-10 09:35:11 +08:00
    victorc
        1
    victorc  
       16h 47m ago   ❤️ 3
    你直接问 ai 就行了,网友智商更低
    YanSeven
        2
    YanSeven  
       16h 17m ago
    听着有点像是要对离线数据做批处理和离线分析一样的需求,可以把场景和需求描述地更清晰一点,让 ai 往这个方向给给意见建议。主要是,啥数据,要分析啥。
    blackPanda
        3
    blackPanda  
       16h 14m ago
    那必须 duckdb 啊
    kevan
        4
    kevan  
       16h 10m ago
    deepseek harness dataagent
    itfarmer
        5
    itfarmer  
       15h 47m ago   ❤️ 1
    @blackPanda 👍 duckdb 最适合干这个,不要让大模型去处理大数据
    llsquaer
        6
    llsquaer  
       15h 43m ago
    感觉你这个分析的话,应该是分析的逻辑,而不是真正的数据处理。真的几百万数据大模型也吃不消啊
    yjiefl
        7
    yjiefl  
       15h 24m ago via iPhone
    先跟 ai 聊目标和数据情况
    413420
        8
    413420  
       15h 19m ago
    做不到
    swczxf
        9
    swczxf  
       15h 18m ago via iPhone
    让 ai 写个离线分析的数据库,然后把数据插入数据库,再写 sql 分析
    liaanj
        10
    liaanj  
       14h 34m ago
    问我们干嘛问 ai 啊,而且你直接把数据放在那里,ai 会读取的
    iiduce
        11
    iiduce  
       13h 47m ago
    把数据放数据库里,让 ai 操作数据库
    NQ
        12
    NQ  
       13h 12m ago
    写脚本处理的话,把数据都下载下来让 AI 自己抽样就行了,全量 LLM 语义分析估计得几百亿 token 。
    moefishtang
        13
    moefishtang  
       10h 36m ago via iPhone
    @swczxf 有 duckdb 浪费 token 写数据库干嘛…脱裤子放屁…
    Ericcccccccc
        14
    Ericcccccccc  
       10h 15m ago
    问 ai 怎么搞方案
    kuhung
        15
    kuhung  
       10h 5m ago
    换个能力更强的,他们一般会搞个临时路径处理
    a569171010
        16
    a569171010  
       9h 17m ago
    OLAP ,让 AI 写 SQL ,跑完结果给 mcp 。其实就是服务端分析完。
    qweruiop
        17
    qweruiop  
       40 mins ago
    直接 duckdb
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5976 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 50ms · UTC 02:15 · PVG 10:15 · LAX 19:15 · JFK 22:15
    ♥ Do have faith in what you're doing.