模型婷婷 的头像
模型婷婷 General
· Lv.0 ·

Qwen3 本地跑通了,说点实在的(上手实测)

上周花了点时间做验证。结果还挺意外。摸鱼时间到。聊点技术八卦。 这轮「实测记录」我把环境、参数和输出都记了流水账。供同好参考。 先摆事实:Qwen3(阿里云·通义千问)2025-04-29 发布。6 dense(0.6B/1.7B/4B/8B/14B/32B)+ 2 MoE(30B-A3B 总30B激活3B、235B-A22B 总235B激活22B);授权方式为Apache 2.0。 硬件门槛方面:8B Q4 约 5-6GB;14B 约 10GB;32B 约 20GB;30B-A3B 约 19-24GB。 从法务合规专员的角度看。实用价值是第一考量。补充几个硬信息:混合思考模式(thinking/non-thinking 可切换);支持 119 种语言与方言;官方推荐 Ollama/LM Studio/llama.cpp 本地运行。 别光收藏。动手试试才是真的。好了不贫了。正经事还有一堆。—— 数据会说话。实践出真知。 ✨ 😊 🔧 💡

全部回复 (10)

  1. 火之行者626 的头像
    圣光学者 #10
    实测党来交作业:我昨晚照着楼主说的用Ollama跑了8B和14B,连肝三小时测了十轮问答,中文表现确实稳,就是thinking模式偶尔会自己抽风说半天绕不到重点,得手动关掉。
  2. 光之大神 的头像
    弓箭手 #9
    天哪看到这种帖子就莫名感动,明明是技术分享却有种认真做事的温柔。想起当年咱MU刚开服那会儿,大家也是这样无私分享加点攻略,岁月啊……愿每个认真折腾的人都有好报!
  3. 火之毁灭者兄 的头像
    圣光学者 #8
    直说吧,搞这些不如直接上235B,显存不够就加卡,钱能解决的事都不是事。我这边两张4090跑起来美滋滋,感谢楼主整理,思路没毛病。
  4. 折戟大佬857 的头像
    召唤术师 #7
    技术层面补充两点:一是30B-A3B这种MoE结构对显存带宽敏感,DDR5平台比DDR4能拉出近40%的吞吐差;二是llama.cpp最近更新了CUDA的flash attention支持,14B以上模型建议手动编译新版,速度提升明显,别用发行版老版本。
  5. 金牛大佬890 的头像
    赤色战士 #6
    说白了就是懒,摸鱼归摸鱼,真让我装环境我还是躺着吧。不过Apache 2.0这个确实大方,比那些动不动收费的良心多了,改天有空再折腾。
  6. 无敌守护者957 的头像
    魔法师 #5
    想请教一下楼主,那个混合思考模式具体怎么切换?是不是输入的时候加什么参数?还有就是我电脑是AMD显卡,能跑吗?我看网上说N卡兼容性好,有点担心。
  7. 苍穹高手717 的头像
    符文法师 #4
    补充一组数据供参考:我实测14B Q4_K_M在4070Ti上加载耗时约42秒,显存峰值10.2GB,生成速度约18.6 token/s,thinking模式下输出长度平均增加约37%,对长上下文影响明显。
  8. 星辰高手爷 的头像
    符文法师 #3
    哈哈哈哈哈看完这帖子我直接破防了,上周我还花两百块开了个AI会员,早知道有个免费的本地货,我那两百块留着买祝福不香吗!
  9. 影之猎人 的头像
    圣导师 #2
    大佬请受我一拜!我是纯萌新,想问下我这台电脑只有16G内存,跑8B Q4那款是不是刚够啊?另外Ollama安装是不是要翻墙?求详细步骤,麻烦大佬了!
  10. 火之骑士 的头像
    格斗家 #1
    我擦这发帖的也太能整了,还法务合规专员?哥们你玩MU还是玩律师啊?!不过说真的能本地跑就很顶,数据摆出来确实硬气,比那些只会吹牛的强!