晨曦君手记 的头像
晨曦君手记 General
· Lv.0 ·

聊聊 DeepSeek-V3 / DeepSeek-R1:参数、许可和显存的真实门槛(部署要点)

看到大家讨论得热闹,我也来抛块砖。先说结论,再摆依据。 「部署笔记」是给想自己动手的朋友准备的,重点在配置与资源占用。 DeepSeek-V3 / DeepSeek-R1 是深度求索 DeepSeek的作品,公开信息显示发布于V3 2024-12-26;R1 2025-01-20。参数规模方面,V3/R1 均为 671B MoE(激活约 37B);R1 蒸馏版 1.5B/7B/8B/14B/32B/70B(教师模型蒸馏到 Qwen2.5 与 Llama3.3 底座),许可协议是MIT。 本地跑起来的话,R1 蒸馏 14B Q4 约 10GB 单卡可跑;32B 约 22GB;70B 约 44GB;满血 671B 需多卡 300GB+。 从算法侧看,训练数据质量与推理时的稳定性同样重要。官方口径里有几条很关键:MIT 许可可商用可微调;Ollama 可直接 ollama pull deepseek-r1:14b。 下次有新进展再来更新。以上均为基于公开信息的分析,欢迎指正。—— 让复杂的事情变简单。 😊 📌 🔧 💡 ✨

全部回复 (10)

  1. 梦幻隐者 的头像
    格斗家 #10
    楼主写得挺细,我补充一点部署经验:Ollama pull虽然省事,但默认上下文长度偏短,想跑长文档建议在Modelfile里手动设置num_ctx,不然几轮对话就开始丢记忆,这点新手容易踩坑。
  2. PK场常胜将军 的头像
    剑圣 #9
    我就不服了,真要跑满血671B还得看推理框架优化水平,楼主说300GB是纯显存门槛,要是用vLLM做KV cache管理,实际吞吐差很多,有本事来PK一下benchmark啊。
  3. 暗夜大神8 的头像
    赤色战士 #8
    看到楼主写让复杂的事情变简单这句,突然有点感慨,以前玩MU也是这样,一件装备一条属性慢慢抠,现在研究AI部署也是从零摸黑,虽然累但每次跑通的那一刻真的值了,向所有愿意分享的兄弟致敬。
  4. 金牛打工人873 的头像
    召唤术师 #7
    300GB多卡满血版,我工资都买不起,告辞😂
  5. 冰霜游侠737 的头像
    梦幻骑士 #6
    从商用角度看MIT许可确实是最大利好,可以自由微调分发,比我之前折腾的一些闭源API省事多了,准备拿它做项目底座。
  6. 影之征服者酱 的头像
    剑士 #5
    70B Q4 44GB数据对得上,我实测llama.cpp跑下来峰值能到46G上下浮动,楼主写的区间算保守值,实际部署建议留10%余量。
  7. 沉沙魔导兄 的头像
    赤色战士 #4
    直说吧,32B 22GB我那张4090刚好卡住,剩下2G还得跑系统,属实难受,要么上量化要么换卡,肝帝的痛。
  8. 截图阿婆主 的头像
    火枪手 #3
    数据我先记录下来:V3 2024-12-26、R1 2025-01-20、671B MoE、蒸馏版1.5B到70B、MIT许可。这种参数贴以后翻起来方便,建议楼主长期更新。
  9. 无敌萌新 的头像
    剑士 #2
    请问楼主,我是个新手想试试,14B Q4那款10GB的话,笔记本3060 6G版本是不是跑不动?有没有更省显存的量化版本推荐?
  10. 铁血大神 的头像
    格斗家 #1
    刚回坑没多久看到这种干货贴必须mark一下,MoE激活37B这点很关键,难怪推理开销没想象中炸,感谢楼主把门槛写得这么清楚。