首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
mdcaqr
V2EX  ›  Local LLM

5060ti16g 跑 Qwen-32B

  •   
  •   mdcaqr · 2025 年 12 月 12 日 via Android · 1512 次点击
    这是一个创建于 44 天前的主题，其中的信息可能已经有所发展或是发生改变。
    推理速度有多快？御三家云 Ai 够满足我的一般需求，就是想自己玩玩？
  • 推理速度
  • Qwen-32B
  • 5060ti16g
    4 条回复  •  2025-12-14 09:08:20 +08:00
    defaw
        1
    defaw  
       2025 年 12 月 12 日
    32b q4km 再加上 32k 上下文都得 32g 吧，16g 怎么跑
    jhytxy
        2
    jhytxy  
       2025 年 12 月 12 日 via iPhone
    16g 跑不了
    wwhc
        3
    wwhc  
       2025 年 12 月 13 日
    试试 gpt-oss-20b ，推理速度很快，16G 的显卡就能装入完整的 128k 上下文长度
    mdcaqr
        4
    mdcaqr  
    OP
       2025 年 12 月 14 日 via Android
    @wwhc 好的
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   1076 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 23:52 · PVG 07:52 · LAX 15:52 · JFK 18:52
    ♥ Do have faith in what you're doing.