追光璟雯
综合
· Lv.0 ·
为什么我最后选了 Qwen3 做本地推理(部署要点)
今天想认真聊聊这个话题。本文基于公开资料整理。供讨论参考。
「部署笔记」是给想自己动手的朋友准备的。重点在配置与资源占用。
Qwen3 是阿里云·通义千问的作品。公开信息显示发布于2025-04-29。参数规模方面。6 dense(0.6B/1.7B/4B/8B/14B/32B)+ 2 MoE(30B-A3B 总30B激活3B、235B-A22B 总235B激活22B)。许可协议是Apache 2.0。
实操层面。8B Q4 约 5-6GB;14B 约 10GB;32B 约 20GB;30B-A3B 约 19-24GB。
运维视角看。显存占用、热更新和故障恢复才是日常。几个值得关注的点:官方推荐 Ollama/LM Studio/llama.cpp 本地运行;Qwen3.7-Max(2026-05)为 API-only。无开放权重;预训练 36T tokens。
就先聊到这。有问题评论区接着讨论。讨论与勘误欢迎留言。—— 工具为人服务。不是相反。 🔧 📌 ✨ 💡 😊