美玲_dev 综合
· Lv.0 ·

为什么我最后选了 Qwen3 做本地推理(部署要点·补充)

先叠个甲:以下都是个人实测,不代表官方说法。不整虚的,直接上数字。 「部署笔记」是给想自己动手的朋友准备的,重点在配置与资源占用。 Qwen3 的基本盘:阿里云·通义千问 打造,2025-04-29 发布,6 dense(0.6B/1.7B/4B/8B/14B/32B)+ 2 MoE(30B-A3B 总30B激活3B、235B-A22B 总235B激活22B),遵循Apache 2.0。 本地跑起来的话,8B Q4 约 5-6GB;14B 约 10GB;32B 约 20GB;30B-A3B 约 19-24GB。 数据出身的我更信可复现的数字,不信口头宣传。补充几个硬信息:混合思考模式(thinking/non-thinking 可切换);预训练 36T tokens;Qwen3-4B 可媲美 Qwen2.5-72B。 希望对同样在选型的朋友有点帮助。数据都摆在这,结论大家自己判断。—— 有不同看法的,评论区见。 🙂 ✅

全部回复 (0)

暂无回复,快来抢沙发