V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  ravecn2014  ›  全部回复第 1 页 / 共 2 页
回复总数  32
1  2  
本地大模型部署器 vv0.1.6 · llama.cpp b8864
by llmbbs.ai · 本地 AI 技术社区

[1/6] Probing hardware...
GPU: NVIDIA GeForce RTX 3090 × 2 (SM86, 24576 MB VRAM each, 936 GB/s)
RAM: 251 GB DDR4
OS: linux amd64

[2/6] Selecting configuration...
Model: Qwen3.6-35B-A3B (moe, 35B total / 3B active)
Quant: ud-q5-k-xl (25.0 GB)
Mode: full_gpu
Accel: Flash Attention + MTP (native) + NVLink + SWA-Full (hybrid arch)

[3/6] Checking files...
Using bundled iso3 binary: llama-server-cuda
Binary: llama-server-cuda [cached]
Model: Qwen3.6-35B-A3B-UD-Q5_K_XL.gguf [cached]

[4/6] Preflight check...
✓ VRAM sufficient

[5/6] Warmup benchmark...
Probe 1: ctx=256K ... OOM
Probe 2: ctx=128K ... OOM
Probe 3: ctx=64K ... OOM
Probe 4: ctx=32K ... OOM
Probe 5: ctx=16K ... OOM
Probe 6: ctx=8K ... OOM
⚠️ Warmup failed: all ctx probes failed (tried down to 4K)
Using default parameters

[6/6] Starting server...
Waiting for llama-server to be ready (port 11434)...
⚠️ 显存不足,降低上下文至 128K 重试...
Waiting for llama-server to be ready (port 11434)...
⚠️ 显存不足,降低上下文至 64K 重试...
Waiting for llama-server to be ready (port 11434)...
Error: failed to start llama-server: 3 次启动均失败,建议选择更小的模型
Usage:
kaiwu run <model> [flags]

Flags:
--bench Run benchmark after starting
--ctx-size int 手动指定上下文大小( 0=自动)
--fast Skip warmup, use cached profile
-h, --help help for run
--llama-server string 使用自定义 llama-server 二进制(完整路径)
--reset 清除缓存,重新 warmup 探测最优参数
4 月 10 日
回复了 ocean112 创建的主题 推广 你的 SBTI 是什么?
你的主类型
LOVE-R (多情者)
2025 年 10 月 15 日
回复了 tousol 创建的主题 Faucet 发帖就打赏
老板大气
2025 年 9 月 18 日
回复了 PilgrimSun 创建的主题 Solana 关于我买和卖 v 币的说明
冲着打赏来的~
2025 年 8 月 9 日
回复了 jackchiu 创建的主题 iOS iOS18.5 到 iOS18.6 一直有个问题
遇到过的因为路由器上的 dns 导致,WiFi 链接频繁断开,你可以检查一下看看
2025 年 7 月 25 日
回复了 Leeeeex 创建的主题 Solana [空投] 最近开心,来以币(铜币)换币(0.001 sol)了
来了~参与一下!
2025 年 7 月 22 日
回复了 evada 创建的主题 V2EX 之前玩剩下的 SOL 还有 0.15
谢谢老板~求打赏~
昨天早上也遇到了,早上 6 点多的时候.地点也是尼泊尔,目前改了密码并把所有设备都强制退出了。
2025 年 5 月 3 日
回复了 tanjianwei 创建的主题 推广 「抽奖送码🎁」 iPhone 原相机调色参数预设 app
试了下不错,直接购买了
我看了我也是 10 号过期的
2024 年 4 月 11 日
回复了 Errpt 创建的主题 Apple iPhone 上的奇怪提示。
我刚刚也遇到到了~之前登录过的账号都跳出来要求输入密码
iXmV50YTfP6WEooscL 体验一下,谢谢!
如果不是代码的问题,攻击跟程序员无关吧?可运维属于程序员嘛?至少在绝大公司里面都不认为是
2023 年 10 月 3 日
回复了 Livid 创建的主题 游戏 你用过的第一个手柄是?
1
卸载了
支持,看看能不能抽到
2022 年 12 月 27 日
回复了 novolunt 创建的主题 问与答 还有没有依旧阴着的,可能凤毛麟角了
+1 鼻炎+湿疹
1  2  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2727 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 38ms · UTC 04:48 · PVG 12:48 · LAX 21:48 · JFK 00:48
♥ Do have faith in what you're doing.