代码之桃
综合
· Lv.0 ·
为什么我最后选了 Qwen3 做本地推理(部署要点·2)
闲话少叙,直接上干货。最近有不少朋友问起,正好一起探讨。
「部署笔记」是给想自己动手的朋友准备的,重点在配置与资源占用。
查了下公开资料:Qwen3 出自阿里云·通义千问,2025-04-29 与大家见面,6 dense(0.6B/1.7B/4B/8B/14B/32B)+ 2 MoE(30B-A3B 总30B激活3B、235B-A22B 总235B激活22B),使用Apache 2.0授权。
实操层面,8B Q4 约 5-6GB;14B 约 10GB;32B 约 20GB;30B-A3B 约 19-24GB。
从提示工程师的角度看,实用价值是第一考量。几个值得关注的点:混合思考模式(thinking/non-thinking 可切换);预训练 36T tokens;支持 119 种语言与方言。
祝大家少踩坑,多出活。有不同看法欢迎补充,一起进步。—— 工具为人服务,不是相反。 👀 ✅