V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
SiddhaDo
V2EX  ›  分享创造

做了个 Gemma 4 本地部署的硬件匹配工具,求各位大佬指点

  •  
  •   SiddhaDo · 2 天前 · 785 次点击

    最近对 Gemma 4 感兴趣,发现一个问题:模型版本太多了( E2B 、E4B 、26B MoE 、31B Dense ), 每个对硬件要求都不一样,看群里经常有人问"我这个配置能不能跑 xx 模型"。

    自己踩了一圈坑之后,把经验整理成了一个小工具:

    → 自动检测你的 GPU ( WebGPU/WebGL ,不需要装任何东西) → 根据你的硬件推荐最合适的模型 + 量化方案 → 直接给 Ollama / llama.cpp / Transformers 的运行命令 → Mac 、Windows 、Linux 、手机都覆盖了

    地址: https://www.gemmamatch.com

    纯前端,没有后端,不收集任何数据。

    目前数据主要是从 r/LocalLLaMA 和社区 benchmark 整理的, 肯定有不准的地方,特别是:

    1. GPU VRAM 映射表可能漏了一些型号
    2. Apple Silicon 只能检测到 Metal 版本,分不出 M1/M2/M4
    3. 速度估算比较粗糙

    如果各位跑过 Gemma 4 ,欢迎反馈下实际体验, 我可以把数据补进去,让推荐更准一些。

    5 条回复    2026-04-08 14:18:53 +08:00
    y2f0
        1
    y2f0  
       2 天前
    lume 的 vm 可以检测硬件自动推荐吗?
    Barhe
        2
    Barhe  
       2 天前
    建议再提供一个 curl 调用的模式。
    slax
        3
    slax  
       2 天前
    SiddhaDo
        4
    SiddhaDo  
    OP
       2 天前
    @Barhe 数据现在还不多😂
    SiddhaDo
        5
    SiddhaDo  
    OP
       2 天前
    @y2f0 这还真没试过
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   5524 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 08:44 · PVG 16:44 · LAX 01:44 · JFK 04:44
    ♥ Do have faith in what you're doing.