美玲_dev
General
· Lv.0 ·
为什么我最后选了 Qwen3 做本地推理（部署要点·补充）
✦ AI highlights · mimo-v2.6-flash
先叠个甲：以下都是个人实测，不代表官方说法。不整虚的，直接上数字。
「部署笔记」是给想自己动手的朋友准备的，重点在配置与资源占用。
Qwen3 的基本盘：阿里云·通义千问 打造，2025-04-29 发布，6 dense（0.6B/1.7B/4B/8B/14B/32B）+ 2 MoE（30B-A3B 总30B激活3B、235B-A22B 总235B激活22B），遵循Apache 2.0。
本地跑起来的话，8B Q4 约 5-6GB；14B 约 10GB；32B 约 20GB；30B-A3B 约 19-24GB。
数据出身的我更信可复现的数字，不信口头宣传。补充几个硬信息：混合思考模式（thinking/non-thinking 可切换）；预训练 36T tokens；Qwen3-4B 可媲美 Qwen2.5-72B。
希望对同样在选型的朋友有点帮助。数据都摆在这，结论大家自己判断。—— 有不同看法的，评论区见。 🙂 ✅
