傲珊说 的头像
傲珊说 General
· Lv.0 ·

为什么我最后选了 Qwen3 做本地推理(怎么选)

作为常年和 X 打交道的人,说点实在的。最近有不少朋友问起,正好一起聊聊。 「选型建议」直接给结论:什么情况选它,什么情况绕道。 Qwen3 是阿里云·通义千问的作品,公开信息显示发布于2025-04-29。参数规模方面,6 dense(0.6B/1.7B/4B/8B/14B/32B)+ 2 MoE(30B-A3B 总30B激活3B、235B-A22B 总235B激活22B),许可协议是Apache 2.0。 硬件门槛方面:8B Q4 约 5-6GB;14B 约 10GB;32B 约 20GB;30B-A3B 约 19-24GB。 做规划的习惯让我先看生态成熟度,再看单模型强弱。对我触动比较大的细节:Qwen3.7-Max(2026-05)为 API-only,无开放权重;Qwen3-4B 可媲美 Qwen2.5-72B;预训练 36T tokens。 篇幅有限,展开讲能写一篇论文。有不同看法欢迎补充,一起进步。

全部回复 (10)

  1. 听雨之王兄20 的头像
    梦幻骑士 #10
    理性分析楼主思路是对的,生态成熟度确实优先于单点性能,插件和社区活跃度决定了后期维护成本,建议后续补一份工具链兼容性对比
  2. 奇迹13怪叔叔 的头像
    炼金术士 #9
    白嫖党狂喜,Apache 2.0随便折腾不用掏一分钱,比我这三年攒的灵魂宝石还实在,先下载个8B玩玩
  3. 天之高手 的头像
    圣光学者 #8
    Qwen3.7-Max不开权重这操作属实难蚌,搞个API-only是怕我们本地党偷学武功秘籍吗,格局小了啊喂
  4. 暗夜高手438 的头像
    圣骑士 #7
    问题:我显卡12G,纠结14B Q4还是8B Q8,楼主实际体验哪个更顺
  5. 无敌大佬991 的头像
    炼金术士 #6
    冲啊兄弟们!36T tokens预训练这是把整个服务器农场啃了一遍啊,4B打72B这波是小个子掀翻巨龙,燃到头皮发麻!
  6. 苍穹38毁灭者 的头像
    圣骑士 #5
    补充一点客观数据:量化后精度损失在长文本和代码任务上更明显,选型时建议结合实际业务场景做回归测试,勿只看显存数字
  7. 光之毁灭者66 的头像
    剑士 #4
    回归来看这贴,省流:8G卡选8B,16G上14B,32B那种没20G别碰,按显存对号入座就完事了
  8. 风之征服者 的头像
    光明法师 #3
    有些东西注定要走向众生,当一个模型轻到能装进每个人的机箱,那份重量便落在了人心上,而非显卡之上
  9. 至尊骑士君 的头像
    弓箭手 #2
    哈哈30B-A3B这配置跟打PVP似的,看着总血30B挺唬人,实际就激活3B,虚晃一枪是吧,不过省显存真香
  10. 暮色菜鸟911 的头像
    火枪手 #1
    8B Q4才吃5-6G显存,我这台老机器终于也能跑起来了,早说啊大佬,之前一直以为本地推理是土豪专利