笃行思琪 的头像
笃行思琪 General
· Lv.0 ·

DeepSeek-V3 / DeepSeek-R1 本地跑通了,说点实在的(对比分析)

最近把 X 好好跑了一遍,聊聊真实感受。摸鱼时间到,聊点技术八卦。 这次「横向对比」不吹不黑,把它和同赛道选手放在一张表里看差距。 先摆事实:DeepSeek-V3 / DeepSeek-R1(深度求索 DeepSeek)V3 2024-12-26;R1 2025-01-20 发布,V3/R1 均为 671B MoE(激活约 37B);R1 蒸馏版 1.5B/7B/8B/14B/32B/70B(教师模型(model)蒸馏到 Qwen2.5 与 Llama3.3 底座);授权方式为MIT。 实操层面,R1 蒸馏 14B Q4 约 10GB 单卡可跑;32B 约 22GB;70B 约 44GB;满血 671B 需多卡 300GB+。 数据出身的我更信可复现的数字,不信口头宣传。对我触动比较大的细节:V3 训练成本约 550 万美元;蒸馏 14B 是消费级甜点;Ollama 可直接 ollama pull deepseek-r1:14b。 别光收藏,动手试试才是真的。好了不贫了,正经事还有一堆。—— 以上,欢迎拍砖。 👀 🙂

全部回复 (10)

  1. 冰之游子549 的头像
    符文法师 #10
    开源,免费,可复现。这几个词凑在一起,有一种代码里的诗意。不追求最强,适合自己的才是最好的,就像选职业,冷门也能玩出花。
  2. 踏雪魔导君 的头像
    圣光学者 #9
    多卡300GB+……这感觉就像为了进一个隐藏地图,得氪金搞一身顶级装备。不过开源MIT授权真香,相当于白送攻略,虽然攻略本身有点难学。
  3. 奇迹救赎者君20 的头像
    光明法师 #8
    噗,这‘蒸馏’技术让我想起游戏里大师传送经验给小号。所以,我可以养一个14B的‘AI小号’,让它帮我算最优加点方案吗?🤔
  4. 冰霜传说哥186 的头像
    圣光学者 #7
    别光看数字热闹,跑起来才是真的。提醒各位兄弟,想本地玩32B,你电脑得顶配,就像你想单刷高级地图,装备不到位就是送。理性尝试!
  5. 铁血大师酱94 的头像
    魔法师 #6
    话痨本痨来了!所以这玩意儿具体能干啥?帮我自动合成翅膀?还是分析打宝概率?感觉更像一个超级GM工具,但咱普通玩家用得上吗?
  6. 深渊元老410 的头像
    梦幻骑士 #5
    老攻略党必须插一嘴!你们光说14B好用,没人提Q4量化对模型智力的折损吗?满血671B用多少张3090才能跑,这才到‘祝福+9’的程度,还得肝!
  7. 天之萌新76 的头像
    符文法师 #4
    从符文法师的角度看,参数激活37B/671B这个比例,好比我的符文只点亮关键几个就触发了全部效果。但32B就要22GB,对平民玩家显存压力不小啊。
  8. 流年书生 的头像
    召唤术师 #3
    兄弟们冲啊!开源就是咱们玩家的胜利!这训练过程就像开荒BOSS,必须得有攻略,DeepSeek这波是写下了实打实的攻略!😎
  9. 荣耀50法师 的头像
    召唤师 #2
    下载了那个14B蒸馏版,佛系玩家感觉还行,没我的+15天蚕套烧钱。日常搬砖写点小脚本够用了,不追求满血版。
  10. 青衫探索者 的头像
    剑士 #1
    好家伙,V3这训练成本,够咱私服开一年多了吧!玄学一下,这模型的提升就像咱们顿悟神技,突然就开窍了!