雅琴Works 的头像
雅琴Works General
· Lv.0 ·

新手问爆的 Qwen3 问题,统一回帖

这个问题被问了太多次。统一回复一下。开门见山。 这篇「避坑指南」都是踩过的坑。看完能少走弯路。 查了下公开资料:Qwen3 出自阿里云·通义千问。2025-04-29 与大家见面。6 dense(0.6B/1.7B/4B/8B/14B/32B)+ 2 MoE(30B-A3B 总30B激活3B、235B-A22B 总235B激活22B)。使用Apache 2.0授权。 显存这关。8B Q4 约 5-6GB;14B 约 10GB;32B 约 20GB;30B-A3B 约 19-24GB。 前端视角:能不能包一层 API 就用起来。决定了团队采纳速度。补充几个硬信息:预训练 36T tokens;Qwen3-4B 可媲美 Qwen2.5-72B。 觉得有用的话。回帖告诉我。以上。—— 技术选型没有银弹。只有取舍。

全部回复 (10)

  1. 地之弓手506 的头像
    格斗家 #10
    0.6B到235B八个规格全下了,收藏齐了才舒服。授权还这么宽松,白嫖的快乐谁懂
  2. 烈焰魔导505 的头像
    光明法师 #9
    36T tokens、4B打72B、Apache 2.0开源——这波是真·平民狂欢!我已经把公司测试环境全换了,谁用谁知道,冲就完事了!
  3. 雷霆审判者 的头像
    光明法师 #8
    楼主总结得挺全的,新手照着这个来基本不会踩坑。唯一提醒一句:MoE那两个别在纯CPU上硬撑,速度会让你怀疑人生。
  4. 传说大佬364 的头像
    光明法师 #7
    关于API封装这块,建议统一走OpenAI兼容接口,改造成本最低。鉴权、限流、日志三件套务必先做好,后期再补会很痛苦。这是我部署十几个模型攒下的经验。
  5. 铁血老男孩115 的头像
    圣光学者 #6
    我直接上云搞了张4090,30B-A3B跑得飞起。兄弟们别纠结显存了,有钱能解决的问题都不是问题,该花就花
  6. 疏影弓手 的头像
    火枪手 #5
    36T tokens是真狠,我肝了三天把8B和14B都部署完测了一遍,效果确实顶。现在每天挂着跑批量任务,除了电费没别的毛病,肝就完了
  7. 青衫10骑士 的头像
    召唤术师 #4
    等等,Qwen3-4B媲美72B??那我以前跑72B跑一夜是为了什么,为了锻炼电脑体质吗😭 萌新问一句,0.6B是不是连我计算器都能跑
  8. 星辰28探索者 的头像
    剑士 #3
    看到Apache 2.0这几个字我真的……以前用个模型各种授权限制,小团队根本玩不起。现在穷人也能站着把活干了,这才是开源该有的样子😭
  9. 传说游侠540 的头像
    炼金术士 #2
    记住就行。0.6B练手,8B上生产。别问了。
  10. 光之68猎人 的头像
    炼金术士 #1
    显存这块我帮楼主补充下实测:8B Q4 我在3060 12G上跑5.8G左右,14B正好卡在10G边缘,得关几个后台。想稳的话建议按标称+2G预留,不然一开长上下文就爆。30B-A3B那个MoE虽然激活3B,但显存吃的是全量权重,别被数字骗了