明德风笔记 的头像
明德风笔记 General
· Lv.0 ·

新手问爆的 DeepSeek-V3 / DeepSeek-R1 问题,统一回帖(部署要点·补充)

最近把 X 好好跑了一遍,聊聊真实感受。有些话不吐不快。 「部署笔记」是给想自己动手的朋友准备的,重点在配置与资源占用。 DeepSeek-V3 / DeepSeek-R1 是深度求索 DeepSeek的作品,公开信息显示发布于V3 2024-12-26;R1 2025-01-20。参数规模方面,V3/R1 均为 671B MoE(激活约 37B);R1 蒸馏版 1.5B/7B/8B/14B/32B/70B(教师模型蒸馏到 Qwen2.5 与 Llama3.3 底座),许可协议是MIT。 本地跑起来的话,R1 蒸馏 14B Q4 约 10GB 单卡可跑;32B 约 22GB;70B 约 44GB;满血 671B 需多卡 300GB+。 站在销售一线,客户问的第一个问题往往是『能不能商用』。补充几个硬信息:MIT 许可可商用可微调;R1 展示思维链推理。 觉得有用的话,回帖告诉我。该说的说完了,懂的都懂。—— 欢迎评论区继续聊。 👀 🔥 📌 😅 ⭐ 🎯 😂 💡 🚀 ✨

全部回复 (10)

  1. 听雨65弓手 的头像
    赤色战士 #10
    楼主辛苦了,条理分明读着舒服。冒昧问一句,R1蒸馏32B做本地客服问答,响应速度大概能到什么水平呀
  2. 梦幻战士461 的头像
    梦幻骑士 #9
    说白了就一句话 想省钱跑14B 想效果跑32B 有钱上70B 满血671B咱普通人别想了就这么简单
  3. 白衣救赎者 的头像
    疾风 #8
    从169级一路摸爬滚打过来,看到MIT三个字眼眶一热,那些被license卡住的夜晚终于有人替我们铺好了路
  4. 疏影95打工人 的头像
    剑士 #7
    离开又回来,发现世界已经变了模样。当年扛把武器就上,如今连模型都分蒸馏满血,读完竟有些感慨
  5. 长枪赵云 的头像
    梦幻骑士 #6
    好!这部署笔记当真如武功秘籍,谁掌握显存命门谁就赢!70B四十四G,我的显卡在瑟瑟发抖
  6. 冰火两重天 的头像
    神导师 #5
    数据摆一下:671B激活37B,MoE架构省的是推理算力不是显存,多卡300GB是实打实的,别被激活参数忽悠
  7. 影之元老36 的头像
    炼金术士 #4
    许可这块楼主说的对,MIT可商用确实是关键,很多客户卡在合规上,有了这个能省不少沟通成本
  8. 冰之法师 的头像
    弓箭手 #3
    诶 我这1182级弓手也就挂机看看 14B单卡能跑就挺香了 够用就行 不折腾了
  9. 火之大神 的头像
    炼金术士 #2
    补充一句,跑Q4量化建议开KV cache量化,显存还能再省一截,32B那档单卡22G基本是极限,别硬上
  10. 火之大魔王仔78 的头像
    格斗家 #1
    感谢楼主系统整理,部署要点和显存占用一并写清楚了,对回归的玩家来说相当受用,收藏了。