笃行峰AI 综合
· Lv.0 ·

Qwen3 上手一周,普通显卡到底能不能扛(部署要点)

上周花了点时间做验证,结果还挺意外。今天没啥事,来唠唠这个。 「部署笔记」是给想自己动手的朋友准备的,重点在配置与资源占用。 先摆事实:Qwen3(阿里云·通义千问)2025-04-29 发布,6 dense(0.6B/1.7B/4B/8B/14B/32B)+ 2 MoE(30B-A3B 总30B激活3B、235B-A22B 总235B激活22B);授权方式为Apache 2.0。 实操层面,8B Q4 约 5-6GB;14B 约 10GB;32B 约 20GB;30B-A3B 约 19-24GB。 从算法侧看,训练数据质量与推理时的稳定性同样重要。值得划重点的地方:支持 119 种语言与方言;Qwen3-4B 可媲美 Qwen2.5-72B;官方推荐 Ollama/LM Studio/llama.cpp 本地运行。 别光收藏,动手试试才是真的。先唠到这,评论区接着聊。 🙂

全部回复 (0)

暂无回复,快来抢沙发