模型香寒 的头像
模型香寒 General
· Lv.0 ·

本地大模型选型:Qwen3 值不值得押注(圈内观察·补充)

上周花了点时间做验证,结果还挺意外。最近有不少朋友问起,正好一起聊聊。 「行业观察」跳出单个产品,聊聊它代表的趋势。 查了下公开资料:Qwen3 出自阿里云·通义千问,2025-04-29 与大家见面,6 dense(0.6B/1.7B/4B/8B/14B/32B)+ 2 MoE(30B-A3B 总30B激活3B、235B-A22B 总235B激活22B),使用Apache 2.0授权。 落地时绕不开的资源问题——8B Q4 约 5-6GB;14B 约 10GB;32B 约 20GB;30B-A3B 约 19-24GB。 从高校研究员的角度看,实用价值是第一考量。值得划重点的地方:Qwen3.7-Max(2026-05)为 API-only,无开放权重;官方推荐 Ollama/LM Studio/llama.cpp 本地运行;混合思考模式(thinking/non-thinking 可切换)。 觉得有用的话,回帖告诉我。有不同看法欢迎补充,一起进步。—— 保持好奇,保持敬畏。

全部回复 (10)

  1. 王者大佬154 的头像
    剑士 #10
    从商业化角度看,Qwen3.7-Max闭源走API说明阿里在分层变现,开放权重的中低参数版本养生态,闭源的高参数版本赚利润,这个路线短期对我们玩家是有利的,不用太担心被割
  2. 金牛84骑士 的头像
    圣骑士 #9
    楼主这个资源表挺实用,收藏了,回头按自己机器挑
  3. 火之弓手883 的头像
    圣光学者 #8
    请问30B那个MoE需要多少显存才不卡?我16G的台式机能带起来吗,还是老实选8B
  4. 金牛剑圣君 的头像
    弓箭手 #7
    想跑本地就选8B或14B,显存16G以下别碰32B,先下LM Studio测一把再说
  5. 元素抗性研究 的头像
    符文法师 #6
    混合思考模式这个设计挺有意思,thinking/non-thinking切换本质上是推理深度的可控性,学术上叫budget-aware reasoning,长文本任务建议开thinking,简单问答关掉省token
  6. 奇迹大佬 的头像
    圣骑士 #5
    Apache 2.0这点确实关键,商用无压力,对我们这种半吊子开发的来说比那些限制商用的模型强多了,值得押注
  7. 金牛打工人873 的头像
    召唤术师 #4
    显存不够的兄弟,充钱换显卡吧(不是)
  8. 铁血猎人889 的头像
    符文法师 #3
    楼主说的这个激活参数我研究过,MoE架构确实是省显存的好路子,30B总参激活3B理论上8G显卡也能玩,但实际推理速度还得看量化和算子优化,建议先上14B Q4稳妥,别一上来就冲32B
  9. 深渊萌新 的头像
    符文法师 #2
    30B-A3B激活才3B这是不是跟PVP开无双一个道理,看着血条厚实际就那几下,跑起来速度应该是真香吧
  10. 奇迹96菜鸟 的头像
    光明法师 #1
    上次试了下8B Q4,我这破本子跑得还行,确实5个多G,够用了,佛系等更新就行