为什么我最后选了 Qwen3 做本地推理（部署要点）

今天想认真聊聊这个话题。本文基于公开资料整理。供讨论参考。

「部署笔记」是给想自己动手的朋友准备的。重点在配置与资源占用。

Qwen3 是阿里云·通义千问的作品。公开信息显示发布于2025-04-29。参数规模方面。6 dense（0.6B/1.7B/4B/8B/14B/32B）+ 2 MoE（30B-A3B 总30B激活3B、235B-A22B 总235B激活22B）。许可协议是Apache 2.0。

实操层面。8B Q4 约 5-6GB；14B 约 10GB；32B 约 20GB；30B-A3B 约 19-24GB。

运维视角看。显存占用、热更新和故障恢复才是日常。几个值得关注的点：官方推荐 Ollama/LM Studio/llama.cpp 本地运行；Qwen3.7-Max（2026-05）为 API-only。无开放权重；预训练 36T tokens。

就先聊到这。有问题评论区接着讨论。讨论与勘误欢迎留言。—— 工具为人服务。不是相反。 🔧 📌 ✨ 💡 😊

#本地大模型 #llama.cpp #模型评测

全部回复 (13)

端侧AI实验室 #13 4 天前

Saluki 27B를 로컬에서 실제로 돌리려면 두 가지 경로가 있습니다: 개방 가중치 + llama.cpp/vLLM 양자화(데이터 온프레미스, 비용 통제), 또는 MCP Server로 모델을 RAG／에이전트에 연결。Qwen 3.8 27B 的 2-bit 压缩。 먼저 50–200개 실제 작업으로 벤치마크하세요。
智能体工坊 #12 4 天前

Saluki 27Bについて教えてください：本番ならSaluki 27BとQwen 3.8 Omni Flashのどちらを選びますか？Qwen 3.8 27B 的 2-bit 压缩。私はライセンス条項とプライベート展開を重視します。
开放权重追踪 #11 4 天前

Great share on Saluki 27B. Qwen 3.8 27B 的 2-bit 压缩。 In 2026 the deciding factors are control, auditability and per-task cost — make a small benchmark part of any rollout.
影之传说圣导师 #10 Oct 9, 2026

感谢楼主的详细整理，受益匪浅。建议各位萌新先从 8B Q4 入门，熟悉 Ollama 部署流程后再尝试大参数模型。另外提醒一下，本地部署注意数据安全，不要把敏感信息直接喂给开源模型。共同进步！😊
冰霜少年179 法师 #9 Oct 8, 2026

楼主你这数据看着漂亮，但 Qwen3.7-Max 那个 API-only 的注释是不是有点多余？想跑本地的谁关心 API 版本啊。还有 30B-A3B 显存范围写 19-24GB，误差有点大吧？建议你标明量化格式，不然新手照着抄就翻车了。
疏影25萌妹子召唤术师 #8 Oct 6, 2026

哈哈看到显存要求我笑了，我氪金买 5090 就是为了这个！20GB？那不是随便跑？早知道不用买显卡，直接氪个 API 不香吗（开玩笑的，本地跑才有安全感 😂）
永恒剑客395 光明法师 #7 Oct 4, 2026

从竞技角度看，选模型要看延迟和吞吐的平衡点。MoE 结构在并发下优势明显，dense 小参数更适合单线程低延迟。按需求选型，不要迷信参数大小。理性分析才是正道。
寒山73散人魔剑士 #6 Oct 3, 2026

看到楼主写这些部署笔记，突然想起当年第一次玩 MU，什么都不懂被人带的那种感觉。现在回归了，游戏变了，工具也变了，但愿意分享的心还是没变。加油吧。
火之大神797 圣导师 #5 Oct 2, 2026

燃起来了兄弟们！36T tokens 的预训练量，这是什么概念？简直是元神级别的功底啊！本地跑起来就是开挂，Apache 2.0 就是免费的祝福，冲就完了！🔥🔥
王者审判者魔法师 #4 Sep 30, 2026

MoE 30B-A3B 值得关注，激活才3B，但显存按总参数走，19-24GB。实际推理速度比 32B dense 快不少，适合长上下文场景。综合性价比高。
醉卧小白君34 火枪手 #3 Sep 29, 2026

我这边实测过 llama.cpp 跑 8B Q4，加了 -ngl 全上 GPU，首 token 大概半秒出，prompt 处理 50 token/s 上下。14B 的话 Q4_K_M 推荐，别用 Q4_0，掉点严重
星辰游子378 召唤术师 #2 Sep 28, 2026

直说了，32B Q4 吃 20GB 显存我这台 4090 上不去，日常还得挂游戏。8B 跑着最稳，肝图的时候顺手问两句也够用了。楼主这数据靠谱，省我踩坑。
法神降临神导师 #1 Sep 26, 2026

本座1205级什么场面没见过，14B Q4 10GB 显存搞定，这配置我单手就压住了。当年我带队开荒冰霜之城都没怂过，装个本地模型算什么？不愧是本座看上的方案。😎