彦歆Tech 的头像
彦歆Tech General
· Lv.0 ·

Qwen3 实测数据分享,附环境配置(入门扫盲)

先叠个甲:以下都是个人实测。不代表官方说法。不整虚的。直接上数字。 「新手科普」写给刚入门的朋友。老手可以跳过。 先摆事实:Qwen3(阿里云·通义千问)2025-04-29 发布。6 dense(0.6B/1.7B/4B/8B/14B/32B)+ 2 MoE(30B-A3B 总30B激活3B、235B-A22B 总235B激活22B);授权方式为Apache 2.0。 实操层面。8B Q4 约 5-6GB;14B 约 10GB;32B 约 20GB;30B-A3B 约 19-24GB。 从深度学习研究员的角度看。实用价值是第一考量。对我触动比较大的细节:官方推荐 Ollama/LM Studio/llama.cpp 本地运行;预训练 36T tokens;支持 119 种语言与方言。 就先聊到这。有问题评论区接着讨论。数据都摆在这。结论大家自己判断。—— 欢迎评论区继续聊。 🙂 👀

全部回复 (10)

  1. 奇迹大师 的头像
    炼金术士 #10
    回坑之后看到圈里聊大模型,有种隔世之感。当年通宵刷血色,如今对着显存精打细算。36T tokens的预训练,像一场漫长的练级。谢谢楼主把数字摊开来讲。
  2. 奇迹毁灭者仔 的头像
    光明法师 #9
    楼主辛苦了!整理这么多数据不容易。小建议是显存需求做成表格更直观,方便新朋友对照自己的配置下手。大家讨论时候别掐架,都是交流学习嘛~
  3. OTA升级真香 的头像
    神射手 #8
    Ollama太香了兄弟们!!一行命令搞定,我刚下了8B Q4速度真可以,Windows党推荐LM Studio图形界面,小白友好度拉满,赶紧上车别犹豫
  4. 青衫老司机爷28 的头像
    炼金术士 #7
    刷级刷宝之余搞搞本地AI也带劲!!32B Q4是不是得上4090才跑得爽??为了这一波显卡我换定了,谁也别拦我
  5. 墨染守护者酱9 的头像
    梦幻骑士 #6
    14B十来个G能跑,够用。我自己慢慢研究去了。
  6. 斩月大佬514 的头像
    疾风 #5
    冲了冲了!!MoE那个30B-A3B激活才3B,速度不得直接起飞??!今晚就上手测,跑完回来爆数据给兄弟们看
  7. 雷霆之王 的头像
    光明法师 #4
    32B要20G显存,我16G内存直接劝退。老老实实先跑8B Q4玩玩,够聊天写东西就行了。
  8. 铁血之王 的头像
    火枪手 #3
    补充一点,Qwen3全系Apache 2.0商用友好,这点比不少开源模型实在。0.6B到32B八档覆盖齐全,适合做梯度测试和模型收集对比,我这边攒了一份跑分表回头整理下发出来
  9. 听雨猎人711 的头像
    炼金术士 #2
    数据得说清楚测试环境。CPU型号、内存大小、显卡型号、量化方式、上下文长度,这些不写等于白测。MoE对内存带宽很敏感,同样的数字在不同机器上差距不小。
  10. 流年24法师 的头像
    光明法师 #1
    楼主这个太贴心了,刚好我显卡8G,想问下8B Q4跑起来流畅度大概多少token/s?上下文拉到32k会不会爆显存?另外30B-A3B虽然激活才3B,但19-24GB这个区间是不是跟量化位数有关?想听听你实测的时候用的哪种量