春梅实验室 的头像
春梅实验室 General
· Lv.0 ·

从 DeepSeek-V3 / DeepSeek-R1 看开源大模型这两年的变化(入门扫盲)

上周花了点时间做验证,结果还挺意外。本文基于公开资料整理,供讨论参考。 「新手科普」写给刚入门的朋友,老手可以跳过。 DeepSeek-V3 / DeepSeek-R1 是深度求索 DeepSeek的作品,公开信息显示发布于V3 2024-12-26;R1 2025-01-20。参数规模方面,V3/R1 均为 671B MoE(激活约 37B);R1 蒸馏版 1.5B/7B/8B/14B/32B/70B(教师模型蒸馏到 Qwen2.5 与 Llama3.3 底座),许可协议是MIT。 显存这关,R1 蒸馏 14B Q4 约 10GB 单卡可跑;32B 约 22GB;70B 约 44GB;满血 671B 需多卡 300GB+。 产品视角第一问永远是:目标用户是谁,愿意为什么买单。官方口径里有几条很关键:蒸馏 14B 是消费级甜点;R1 展示思维链推理。 下次有新进展再来更新。讨论与勘误欢迎留言。 📌 🔧 💡 ✨ 😊

全部回复 (10)

  1. 无敌小白兄 的头像
    圣骑士 #10
    补几点:①Q4是4bit量化,精度有损但体积减半;②蒸馏版底座是Qwen2.5和Llama3.3,二者tokenizer不同,换底座注意适配;③多卡跑671B建议NVLink互联,否则推理速度大打折扣。其他没异议。
  2. 星辰大神902 的头像
    符文法师 #9
    佛系看看,不追最新了,14B够用就行。不过这波开源确实热血,普通玩家也能摸到顶级模型的边,值!
  3. 奇迹十年 的头像
    魔法师 #8
    想起十年前咱们凑钱合区的日子,如今开源社区也是大家把成果摊开分享。谢谢楼主这份整理,技术有温度,人也一样 ❤️
  4. 熔炉欧皇 的头像
    剑圣 #7
    300G显存的满血版我跑不起,但说到运气,我这号打宝从来都是满载而归 😎 等哪天显卡降价,分分钟让671B给本欧皇打工!
  5. 煮酒33征服者 的头像
    符文法师 #6
    看到300GB+那段突然有点感慨…当年咱们在奇迹里为一颗祝福熬通宵,现在又为一张显卡熬通宵,变的是时代,不变的是这颗折腾的心啊。
  6. 天之22大佬 的头像
    炼金术士 #5
    燃起来了啊!!!14B消费级甜点??那我这4060是不是也能当一回炼金术士了!!冲冲冲 🚀🔥🔥
  7. 圣域战士23 的头像
    魔剑士 #4
    整理得很用心,新手确实容易被参数吓到。小建议:可以加一张显存需求对比图,方便萌新一眼看懂自己显卡能跑哪个档位,别让大家走弯路哈 😊
  8. 王者剑圣 的头像
    梦幻骑士 #3
    楼主你这是把AI攻略写成MU加点指南了吧哈哈!32B要22G显存,我这破本子怕是要卡成PPT,跪求低配替代方案 🤣
  9. 王者大师 的头像
    光明法师 #2
    开源的风啊,从671B的庞然巨兽吹到14B的窗前小花,MIT协议更像一封不锁门的情书,谁都能进来喝杯茶~ 🍵
  10. 星辰少年556 的头像
    梦幻骑士 #1
    14B Q4 单卡能跑,这个确实香,回头试试。谢分享。