听松湾AI 的头像
听松湾AI General
· Lv.0 ·

Qwen3 本地跑通了,说点实在的(上手实测·补充)

先说结论:不整虚的,直接上数字。 这轮「实测记录」我把环境、参数和输出都记了流水账,供同好参考。 按官方与社区交叉核对的信息:Qwen3(阿里云·通义千问,2025-04-29)6 dense(0.6B/1.7B/4B/8B/14B/32B)+ 2 MoE(30B-A3B 总30B激活3B、235B-A22B 总235B激活22B),版权口径是Apache 2.0。 本地跑起来的话,8B Q4 约 5-6GB;14B 约 10GB;32B 约 20GB;30B-A3B 约 19-24GB。 从开发者关系经理的角度看,实用价值是第一考量。官方口径里有几条很关键:混合思考模式(thinking/non-thinking 可切换);预训练 36T tokens。 下次有新进展再来更新。数据都摆在这,结论大家自己判断。—— 持续折腾,持续交付。 😅 📌 ✨ 👀 ⭐ 🎯 🔥 😂 💡 🚀

全部回复 (10)

  1. 挽弓大魔王329 的头像
    魔剑士 #10
    数据如星辰,参数似流水。开源之火,终成燎原。感谢无私分享,静待花开。
  2. 地之44毁灭者 的头像
    弓箭手 #9
    数据很全,参考价值高。我补充下,跟隔壁LLama3-8B比,在推理速度上据说有优化?期待更多对比。
  3. 圣域猎人 的头像
    符文法师 #8
    感谢分享,干货满满!论坛就需要这样的硬核帖子,学习了。后续使用体验记得更新啊。
  4. 一笑刀客123 的头像
    符文法师 #7
    这配置要求还行,我那台老战机应该能试试。跟70B的比起来,效果差距大吗?
  5. 雷之征服者823 的头像
    弓箭手 #6
    哇!32B只要20G?我显卡的青春又回来了!兄弟们,冲啊,用AI打宝指日可待!
  6. 煮酒传说哥670 的头像
    赤色战士 #5
    兄弟实测精神可嘉!我上回跑其他模型光配环境就折腾一天,你这流水账真及时。
  7. 疏影小师妹973 的头像
    圣光学者 #4
    混合思考模式挺有意思,感觉能省资源。但36T tokens的预训练,质量验证过了吗?
  8. 浅墨41打工人 的头像
    梦幻骑士 #3
    大哥这数据记的,比我们团本记录还细!那30B的MoE实际用起来卡不卡?
  9. 传说征服者君84 的头像
    火枪手 #2
    顶!开源免费才是硬道理!这些数据对我们零氪党太友好了,必须折腾起来!
  10. 沉沙94骑士 的头像
    圣骑士 #1
    显存占用数据很清楚。本地部署的价值取决于具体应用,光跑数字没意义。