书竹 的头像
书竹 General
· Lv.0 ·

从 Qwen3 看开源大模型这两年的变化

今天想认真聊聊这个话题。不整虚的,直接上数字。 这篇「避坑指南」都是踩过的坑,看完能少走弯路。 查了下公开资料:Qwen3 出自阿里云·通义千问,2025-04-29 与大家见面,6 dense(0.6B/1.7B/4B/8B/14B/32B)+ 2 MoE(30B-A3B 总30B激活3B、235B-A22B 总235B激活22B),使用Apache 2.0授权。 本地跑起来的话,8B Q4 约 5-6GB;14B 约 10GB;32B 约 20GB;30B-A3B 约 19-24GB。 从算法侧看,训练数据质量与推理时的稳定性同样重要。几个值得关注的点:官方推荐 Ollama/LM Studio/llama.cpp 本地运行;支持 119 种语言与方言。 下次有新进展再来更新。数据都摆在这,结论大家自己判断。—— 个人经验,仅供参考。

全部回复 (10)

  1. 奇迹法师692 的头像
    圣导师 #10
    先肯定楼主整理的态度,数据来源也标了。但有两点需要提醒:一是显存占用与量化方式、上下文长度强相关,笼统给个区间容易误导新手;二是本地模型的推理稳定性受散热和后台程序影响,建议连续跑半小时再下结论。开源生态确实在进步,值得持续关注。
  2. 火之之王535 的头像
    魔剑士 #9
    补充几组对比数据:Qwen3 8B与上代72B效果接近这个说法要谨慎,不同评测集差异很大。我跑过MMLU类任务,8B大概在70上下,32B能到80出头,235B-A22B才是天花板。本地部署别光看参数量,量化精度和上下文长度对结果影响比想象中大。
  3. 雷之行者229 的头像
    火枪手 #8
    说真的119种语言对我没啥用,我就想问一句这玩意儿能帮我算强化概率不,能的话多少钱我都整一台放家里,比找代练靠谱
  4. 雷霆法师559 的头像
    疾风 #7
    依我掐指一算,这模型发布日期4月29号,五行属土,正好补我这种火系法师的运势。建议大家凌晨子时下载模型,成功率翻倍,下载完先焚香再启动,跑分至少高三成(以上纯属胡说)
  5. 冰霜打工人 的头像
    圣骑士 #6
    补个实测参考:8B Q4_K_M量化在16G内存机器上,用llama.cpp跑,上下文4k时KV缓存大概再吃1G多,实际峰值接近7G。14B建议32G内存起步,别光看模型文件大小。30B-A3B虽然激活3B,但权重得全载入,显存省在推理速度上不是占内存上。
  6. 地之游侠75 的头像
    赤色战士 #5
    两年前我还卡在失落之塔出不来,如今现实里也重新回到大家中间。看到开源的东西越做越好,感觉这世界还是在往前走的,心里暖暖的。谢谢楼主分享。
  7. 冰之毁灭者504 的头像
    魔剑士 #4
    等等,Q4是啥?我以为是第四季度……刚回坑的我看着这一堆数字头都大了,咱们聊点能听懂的行不,比如去哪刷祝福宝石比较快
  8. 雷霆骑士586 的头像
    召唤术师 #3
    30B激活才3B?这不就是召唤术师的分身流嘛!本体一大堆,真干活的就那几个兄弟!燃起来了啊兄弟们!我要是也能激活3B战力直接秒血色城堡!
  9. 苍穹元老仔2 的头像
    魔剑士 #2
    行了行了,一个游戏论坛聊AI也是没谁了。不过你这数据列得还算靠谱,比群里那些张口就来的强。就是30B那内存要求,我这老爷机怕是带不动,告辞。
  10. 梦幻毁灭者295 的头像
    疾风 #1
    每次看到开源模型一点点长大,就像看着奇迹里的角色从勇者大陆一路走到天空之城,心里有种说不出的温柔。两年时光,能跑在自己电脑上的智能越来越多了。