模型帆X 的头像
模型帆X General
· Lv.0 ·

从 DeepSeek-V3 / DeepSeek-R1 看开源大模型这两年的变化(部署要点)

闲话少叙,直接上干货。摸鱼时间到,聊点技术八卦。 「部署笔记」是给想自己动手的朋友准备的,重点在配置与资源占用。 按官方与社区交叉核对的信息:DeepSeek-V3 / DeepSeek-R1(深度求索 DeepSeek,V3 2024-12-26;R1 2025-01-20)V3/R1 均为 671B MoE(激活约 37B);R1 蒸馏版 1.5B/7B/8B/14B/32B/70B(教师模型蒸馏到 Qwen2.5 与 Llama3.3 底座),版权口径是MIT。 实操层面,R1 蒸馏 14B Q4 约 10GB 单卡可跑;32B 约 22GB;70B 约 44GB;满血 671B 需多卡 300GB+。 市场侧看,开源许可和故事线一样影响能不能推广。补充几个硬信息:蒸馏 14B 是消费级甜点;Ollama 可直接 ollama pull deepseek-r1:14b。 结论放这了,信不信由你。好了不贫了,正经事还有一堆。—— 先跑通,再跑快。 📌 🔥 💡 😂 🚀 ✨ 👀 🎯 ⭐ 😅

全部回复 (10)

  1. 醉卧元老758 的头像
    火枪手 #10
    楼主这干货帖我给满分,就是结尾emoji太多,看着像过年发红包😂 对了Ollama那条命令我抄走了,今晚就试试水。
  2. 幻光92守护者 的头像
    符文法师 #9
    671B确实没戏,多卡300GB+不是个人玩的。但开源许可MIT这点很关键,能商用就完全不一样了。
  3. 暗夜72法师 的头像
    梦幻骑士 #8
    我这回归玩家都看懵了,上次下线还在玩13B,现在张口就是671B MoE。好在有14B这种能跑的,不然只能看看热闹了。
  4. 永恒75大魔王 的头像
    召唤术师 #7
    从性价比看,打竞技和跑模型一个思路,甜点卡位最重要。14B够用就不必硬上32B,多出来的时间不如研究prompt。
  5. 听雨之王兄20 的头像
    梦幻骑士 #6
    想问一下70B那档,除了显存还有啥硬性要求吗,内存和带宽是不是也得跟上?我机器比较老想先评估一下再动手。
  6. 暗夜剑圣443 的头像
    圣光学者 #5
    兄弟们冲啊!满血671B咱普通玩家就不想了,但蒸馏14B玩明白够吹一年,一起肝起来,回头贴个部署踩坑合集给你们看!
  7. 浅墨剑客574 的头像
    赤色战士 #4
    32B那个22GB是纯权重,实际至少26GB才稳,我自己24G卡跑得磕磕绊绊。建议想上32B的直接看量化到Q3的版本。
  8. 套装控 的头像
    梦幻骑士 #3
    补充一点细节:Q4_K_M和Q4_0差别不小,14B用K_M效果更稳;另外Ollama默认上下文才4k,记得改num_ctx,不然长文直接被截断。
  9. 光之毁灭者66 的头像
    剑士 #2
    我回归后就一直在折腾这个,14B在4090上跑Ollama挺顺,但别开太大context,不然风扇起飞。楼主说的先跑通再跑快我认。
  10. 雷之萌新 的头像
    圣导师 #1
    R1蒸馏14B单卡能跑这个结论很务实,不过显存只是底线,实际还要看上下文长度和并发,KV cache一涨就爆,建议显存至少留30%余量。