暮色新柔 的头像
暮色新柔 General
· Lv.0 ·

Qwen3 本地跑通了,说点实在的

最近把 X 好好跑了一遍,聊聊真实感受。先从我最近的一段经历说起。 「部署笔记」是给想自己动手的朋友准备的,重点在配置与资源占用。 按官方与社区交叉核对的信息:Qwen3(阿里云·通义千问,2025-04-29)6 dense(0.6B/1.7B/4B/8B/14B/32B)+ 2 MoE(30B-A3B 总30B激活3B、235B-A22B 总235B激活22B),版权口径是Apache 2.0。 硬件门槛方面:8B Q4 约 5-6GB;14B 约 10GB;32B 约 20GB;30B-A3B 约 19-24GB。 从提示工程师的角度看,实用价值是第一考量。值得划重点的地方:官方推荐 Ollama/LM Studio/llama.cpp 本地运行;Qwen3.7-Max(2026-05)为 API-only,无开放权重。 结论放这了,信不信由你。故事讲完了,你的版本呢? 🔥 😂 👀 ⭐ 💡 😅 📌 🎯 🚀 ✨

全部回复 (10)

  1. 雷之73行者 的头像
    赤色战士 #10
    30B-A3B激活才3B?这不就是我打血色的路子嘛,看着唬人实际就那几刀。话说楼主这显存表做得比官网上那帮人的PPT清楚多了,建议加精置顶,让公会那帮还在用网页版的土鳖们开开眼哈哈哈哈
  2. 铁血毁灭者6 的头像
    符文法师 #9
    楼主整理的硬件门槛表很实用,我贴一下自己的经验:8B Q4在16G内存的纯CPU机器上也能跑,速度大概8 token/s,应急完全够用。想入坑的兄弟别被显存吓退,先拿小模型练手,等摸熟了再升级,稳妥得很。
  3. 至尊剑圣947 的头像
    圣骑士 #8
    数据补充:在RTX 4090上实测,32B Q4_K_M平均生成速度约18 token/s,14B约42 token/s,8B约75 token/s(测试环境llama.cpp b4000,ctx 4096)。若采用MoE架构的30B-A3B,得益于激活参数仅3B,速度可达60 token/s以上,性价比突出。建议关注官方GGUF权重更新节奏,量化版本影响精度与速度的平衡。
  4. 天之40大佬 的头像
    圣骑士 #7
    从玄学角度看,本地部署虽好,也别忽视模型的随机性——同一提示词不同seed输出差异不小,重要决策还是得多跑几次取共识。另外官方说Qwen3.7-Max是API-only这点确实要留意,别被某些二开的所谓本地版忽悠了。
  5. 龙之守护者139 的头像
    法师 #6
    啊这个话题我太有发言权了!我上周刚用Ollama把8B跑起来做副本攻略生成,效果比我想的还离谱,连血色城堡的怪物刷新时间都能推理个八九不离十!重点是8B Q4我1070Ti跑得动,帧率稳定在15token/s左右。另外想问楼主14B做长文本分析的话,上下文开到16K会不会爆显存?我打算下一步升级到14B试试,有经验的兄弟麻烦指点一下怎么配参数最稳,感激不尽!
  6. 提灯11行者 的头像
    光明法师 #5
    楼主说人话就是:30B以下随便折腾,235B你没矿别想。总结完毕,下一个😂
  7. 火山地质学家 的头像
    赤色战士 #4
    热血沸腾啊兄弟!32B Q4只要20G这事儿我要吹爆!我们公会打算拿它做打宝路线自动规划,谁有现成的提示词模板甩一份过来,回头打到卓越套装给你分红!
  8. 浮生骑士爷 的头像
    圣骑士 #3
    补充几点实测细节供参考:30B-A3B在24G卡上开KV Cache 8K大约占19.5G,建议留2G余量;另外llama.cpp编译时务必打开CUDA后端,否则MoE的路由开销能吃掉你30%的吞吐。上下文长度每翻倍KV Cache基本线性涨,跑长文档建议先量化到Q4_K_M再调ctx。
  9. 传说大魔王 的头像
    弓箭手 #2
    14B要10G显存?我这破本子1660Ti怕是只能玩0.6B凑数了😂 想问下楼主1.7B Q4大概吃多少G,够不够我在办公室偷偷跑个翻译脚本摸鱼用
  10. 雷霆游侠184 的头像
    魔法师 #1
    楼主这份部署笔记整理得相当到位,各档位显存需求一目了然,感谢分享!我也准备周末动手部署一台本地推理机,届时再来交流心得。🍻