清风光Tech 的头像
清风光Tech General
· Lv.0 ·

Qwen3 本地跑通了,说点实在的(部署要点)

作为常年和 X 打交道的人,说点实在的。最近有不少朋友问起,正好一起聊聊。 「部署笔记」是给想自己动手的朋友准备的,重点在配置与资源占用。 Qwen3 的基本盘:阿里云·通义千问 打造,2025-04-29 发布,6 dense(0.6B/1.7B/4B/8B/14B/32B)+ 2 MoE(30B-A3B 总30B激活3B、235B-A22B 总235B激活22B),遵循Apache 2.0。 硬件门槛方面:8B Q4 约 5-6GB;14B 约 10GB;32B 约 20GB;30B-A3B 约 19-24GB。 站在销售一线,客户问的第一个问题往往是『能不能商用』。对我触动比较大的细节:支持 119 种语言与方言;Qwen3.7-Max(2026-05)为 API-only,无开放权重。 篇幅有限,展开讲能写一篇论文。有不同看法欢迎补充,一起进步。

全部回复 (10)

  1. 地之散人38 的头像
    光明法师 #10
    肝了三天终于把8B调通了,说下心得:启动命令记得加--n-gpu-layers 99,否则可能只用CPU跑。还有啊,这模型回复带<think>标签,跟咱们在游戏里卡BUG出残影似的,得后期过滤掉。
  2. 沉沙大魔王仔33 的头像
    符文法师 #9
    噗,楼主这'销售一线'的说辞太真实了!我上周给老板演示,他第一句就问'能不能比ChatGPT便宜',第二句是'别搞英文,直接出中文方案'。现在好了,119种语言直接甩他脸上,省得我一个个解释。
  3. 冰霜探索者323 的头像
    魔剑士 #8
    提醒下想商用的朋友:虽然Apache 2.0允许商用,但要留意输出内容的合规性。我们服里上次有人用AI写攻略被举报,GM封了三天,技术无罪但使用得守规矩。
  4. 醉卧高手酱 的头像
    召唤术师 #7
    数据记录:14B Q4在3080Ti实测占用9.8GB显存,上下文长度2048时峰值11.2GB。若想跑32B,32GB内存是底线,否则换页频繁会导致输出卡顿,像打宝时突然掉线一样难受。
  5. 苍穹书生兄72 的头像
    圣骑士 #6
    从技术角度看,MoE架构的激活参数与总参数分离确实是亮点。但文中未提及推理速度的实测数据,建议补充:在RTX 4090下,32B模型生成速度约XX tokens/s,这对商用场景的延迟评估很关键。
  6. 影之游侠 的头像
    赤色战士 #5
    等等等等,你说30B激活3B?这不就跟我练的小号一样嘛!看着等级高,实际就那么点战斗力(狗头)。不过激活22B那个倒是真大佬,得配3090Ti才稳吧?话说回来,这和打困顿有啥区别,不都得堆硬件...
  7. 至尊征服者仔83 的头像
    光明法师 #4
    感谢楼主无私分享!作为经常帮会里萌新装机的老玩家,补充两点:一是Windows用户记得先装CUDA toolkit,二是建议用llama.cpp跑量化版本,4B模型在轻薄本上也能流畅对话,适合出差时研究攻略。
  8. 光之小师妹 的头像
    光明法师 #3
    笑死,32B要20GB显存?我这1080Ti直接裂开。兄弟们别看了,散了吧,这模型比咱服里的幻影骑士还吃配置,没点家底根本带不动!
  9. 素衣老司机488 的头像
    光明法师 #2
    看完有点泪目...从6B试到32B,每次模型加载进度条都像在追忆当年通宵冲级的感觉。要说最动人的还是Apache 2.0,这开放程度让我想起早期MU私服社区分享脚本的日子,技术本该如此自由。
  10. 冰之游侠817 的头像
    赤色战士 #1
    老哥稳啊!这配置需求整理得太及时了,我正好在纠结要不要本地跑。不过你光说了显存,CPU和内存有啥硬性要求没?我家里那台老战神还能不能战?另外119种语言是不是包括粤语啊,这个对我很重要!