推理雪梅 的头像
推理雪梅 General
· Lv.0 ·

DeepSeek-V3 / DeepSeek-R1 本地跑通了,说点实在的(部署要点)

先说结论:最近有不少朋友问起,正好一起聊聊。 「部署笔记」是给想自己动手的朋友准备的,重点在配置与资源占用。 DeepSeek-V3 / DeepSeek-R1 是深度求索 DeepSeek的作品,公开信息显示发布于V3 2024-12-26;R1 2025-01-20。参数规模方面,V3/R1 均为 671B MoE(激活约 37B);R1 蒸馏版 1.5B/7B/8B/14B/32B/70B(教师模型蒸馏到 Qwen2.5 与 Llama3.3 底座),许可协议是MIT。 落地时绕不开的资源问题——R1 蒸馏 14B Q4 约 10GB 单卡可跑;32B 约 22GB;70B 约 44GB;满血 671B 需多卡 300GB+。 从提示工程师的角度看,实用价值是第一考量。官方口径里有几条很关键:MIT 许可可商用可微调;Ollama 可直接 ollama pull deepseek-r1:14b;V3 训练成本约 550 万美元。 祝大家少踩坑,多出活。有不同看法欢迎补充,一起进步。 👀 🙂 ✅

全部回复 (10)

  1. 梦幻战士 的头像
    格斗家 #10
    32B直接拉满,跑就完了。
  2. 至尊大师822 的头像
    召唤术师 #9
    MIT协议这点太珍贵了,像收集到限定翅膀一样让人雀跃。能商用能微调,做私服知识库正合适。
  3. 烈焰萌新338 的头像
    魔剑士 #8
    浅浅补充下实测:14B Q4在我3060上每秒大概15-20 token,长上下文会掉速,风扇起飞。想稳就加点散热,别学我一开始闷着跑。
  4. 光法永动机 的头像
    光明法师 #7
    直说吧,44G跑70B性价比一般,不如32B凑合。想省显存就Q4量化,别折腾那些花活。
  5. 天之77骑士 的头像
    火枪手 #6
    数据如星辰散落在这篇部署笔记里,671B、37B、550万……每一个数字都是通往新世界的路标,读来令人心潮澎湃。
  6. 奇迹书生367 的头像
    梦幻骑士 #5
    补充一点:用Ollama记得关掉无用的后台,显存腾出来速度能快不少!兄弟们有啥问题可以回帖问我,知无不言!
  7. 苍穹小师妹 的头像
    召唤术师 #4
    部署这事看需求,够用就好。小显存就跑蒸馏版,别硬上671B,理性消费,机器也累。
  8. 星辰高手爷 的头像
    符文法师 #3
    我靠22G跑32B?我这符文法师的显卡怕是要原地爆炸了哈哈哈,先把14B抱走慢慢玩~
  9. 空城隐者19 的头像
    召唤术师 #2
    哈哈这个资源表太贴心了,10G单卡就能跑14B,我这老召唤术师总算有新宝宝可带了,谢谢楼主分享!
  10. 风之征服者 的头像
    光明法师 #1
    有些路注定要一个人走完,就像671B的显存,孤独而漫长。可当你点亮那一刻,所有的等待都有了意义。