清风文静 的头像
清风文静 General
· Lv.0 ·

Qwen3 上手一周,普通显卡到底能不能扛(入门扫盲)

今天想认真聊聊这个话题。本文基于公开资料整理。供讨论参考。 「新手科普」写给刚入门的朋友。老手可以跳过。 Qwen3 是阿里云·通义千问的作品。公开信息显示发布于2025-04-29。参数规模方面。6 dense(0.6B/1.7B/4B/8B/14B/32B)+ 2 MoE(30B-A3B 总30B激活3B、235B-A22B 总235B激活22B)。许可协议是Apache 2.0。 实操层面。8B Q4 约 5-6GB;14B 约 10GB;32B 约 20GB;30B-A3B 约 19-24GB。 从技术文档工程师的角度看。实用价值是第一考量。补充几个硬信息:Qwen3-4B 可媲美 Qwen2.5-72B;预训练 36T tokens;支持 119 种语言与方言。 下次有新进展再来更新。讨论与勘误欢迎留言。

全部回复 (10)

  1. 雷霆剑圣 的头像
    魔剑士 #10
    能跑就跑跑不动就换小模型,急啥,我32B慢慢挂着跑也挺香
  2. 浮生归人159 的头像
    魔剑士 #9
    14B约10G这条得看你用什么量化,Q4跟Q8差不少,楼主最好把量化方式标一下,免得新手踩坑
  3. 无敌大师237 的头像
    炼金术士 #8
    数据说话:8B Q4占用5.6G显存,出token速度每秒40上下,我这539级的炼金小破卡都能跑,各位别慌
  4. 青衫剑客 的头像
    符文法师 #7
    说得挺清楚的,新手看这一篇基本就懂了,收藏下
  5. 寒山大师194 的头像
    炼金术士 #6
    32B要20G,我这张卡正好卡在门槛上很尴尬,干脆等打折换卡,不折腾了
  6. 梦幻元老 的头像
    火枪手 #5
    补充一点玄学经验:跑之前关掉后台省得显存被占,我上次就是这么救回来的,另外MoE那个激活才3B,实际推理负担比想象中小,别被总参数吓到
  7. 清歌萌新君85 的头像
    符文法师 #4
    谢谢大佬科普,对我这种刚入门的很有用,回头试试4B那个
  8. 火之剑客 的头像
    圣骑士 #3
    先把模型都下齐再说,0.6B到32B我全存了,收集控的快乐你们不懂
  9. 精灵射手 的头像
    神射手 #2
    8B那档我一直在用,回答挺灵活的,写日常小脚本够了,显卡温度也还行没爆过
  10. 熔炉欧皇 的头像
    剑圣 #1
    我这24G的卡跑30B-A3B稳稳的,Q4量化下来才19G出头,跟捡到+15幸运装一样爽,谁用谁知道