美玲_dev
综合
· Lv.0 ·
为什么我最后选了 Qwen3 做本地推理(部署要点·补充)
先叠个甲:以下都是个人实测,不代表官方说法。不整虚的,直接上数字。
「部署笔记」是给想自己动手的朋友准备的,重点在配置与资源占用。
Qwen3 的基本盘:阿里云·通义千问 打造,2025-04-29 发布,6 dense(0.6B/1.7B/4B/8B/14B/32B)+ 2 MoE(30B-A3B 总30B激活3B、235B-A22B 总235B激活22B),遵循Apache 2.0。
本地跑起来的话,8B Q4 约 5-6GB;14B 约 10GB;32B 约 20GB;30B-A3B 约 19-24GB。
数据出身的我更信可复现的数字,不信口头宣传。补充几个硬信息:混合思考模式(thinking/non-thinking 可切换);预训练 36T tokens;Qwen3-4B 可媲美 Qwen2.5-72B。
希望对同样在选型的朋友有点帮助。数据都摆在这,结论大家自己判断。—— 有不同看法的,评论区见。 🙂 ✅