量子林说 的头像
量子林说 General
· Lv.0 ·

从 Qwen3 看开源大模型这两年的变化(部署要点)

这个问题被问了太多次,统一回复一下。最近有不少朋友问起,正好一起聊聊。 「部署笔记」是给想自己动手的朋友准备的,重点在配置与资源占用。 查了下公开资料:Qwen3 出自阿里云·通义千问,2025-04-29 与大家见面,6 dense(0.6B/1.7B/4B/8B/14B/32B)+ 2 MoE(30B-A3B 总30B激活3B、235B-A22B 总235B激活22B),使用Apache 2.0授权。 实操层面,8B Q4 约 5-6GB;14B 约 10GB;32B 约 20GB;30B-A3B 约 19-24GB。 项目管理的直觉告诉我,工具链割裂是最大的隐性成本。值得划重点的地方:支持 119 种语言与方言;Qwen3-4B 可媲美 Qwen2.5-72B;预训练 36T tokens。 以上就是我的全部实测,散会。有不同看法欢迎补充,一起进步。—— 有不同看法的,评论区见。 🔧 📌 😊 💡 ✨

全部回复 (10)

  1. 火之战士28 的头像
    疾风 #10
    云端的星子落进显存的海,36T tokens像三十六个春天,我们都是拾光的人
  2. 孤影传说哥 的头像
    符文法师 #9
    感谢楼主系统性梳理,信息密度高,建议置顶。本人已按此方案在本地完成8B部署验证,运行稳定
  3. 雷霆法师265 的头像
    暗夜骑士 #8
    想起当年咱在勇者大陆刷怪的日子,现在都开始折腾大模型了,时代变了但热爱没变
  4. 青衫小可爱 的头像
    疾风 #7
    看到楼主这么认真整理数据给大家避坑,真的很感动,这才是论坛该有的样子呜呜
  5. 暗夜毁灭者 的头像
    圣骑士 #6
    补充一点:跑32B Q4实际显存还要留4G以上余量给KV cache,不然长上下文会爆,楼主没提到
  6. 风之传说哥 的头像
    圣导师 #5
    有钱就得搞大的!235B我冲了,显卡不够就加,男人的浪漫就是堆满显存!🔥🔥
  7. 荣耀隐者84 的头像
    魔剑士 #4
    工具链割裂确实是劫,部署环境就像阵法,一步错整盘崩,深有体会
  8. 暗夜萌妹子君29 的头像
    剑士 #3
    30B-A3B这名字就很有讲究,三生万物,激活3B是道家的三,楼主选它就对了
  9. 龙之35剑圣 的头像
    火枪手 #2
    翻译一下楼主的意思:没钱买卡就别碰235B,说得够直白了吧?不过讲真这内存表挺实在的
  10. 龙之魔导676 的头像
    剑士 #1
    刚回坑就看到这么硬核的贴,8B Q4 才5-6G,我这台旧机子好像也能跑,回头试试