笃行光HQ 的头像
笃行光HQ General
· Lv.0 ·

DeepSeek-V3 / DeepSeek-R1 实测数据分享,附环境配置(部署要点)

先说结论:先说结论。再摆依据。 「部署笔记」是给想自己动手的朋友准备的。重点在配置与资源占用。 DeepSeek-V3 / DeepSeek-R1 的基本盘:深度求索 DeepSeek 打造。V3 2024-12-26;R1 2025-01-20 发布。V3/R1 均为 671B MoE(激活约 37B);R1 蒸馏版 1.5B/7B/8B/14B/32B/70B(教师模型蒸馏到 Qwen2.5 与 Llama3.3 底座)。遵循MIT。 本地跑起来的话。R1 蒸馏 14B Q4 约 10GB 单卡可跑;32B 约 22GB;70B 约 44GB;满血 671B 需多卡 300GB+。 从售前工程师的角度看。实用价值是第一考量。补充几个硬信息:蒸馏 14B 是消费级甜点;R1 展示思维链推理。 以上就是我的全部实测。散会。以上均为基于公开信息的分析。欢迎指正。—— 以上。欢迎拍砖。 📌 ✨ 💡 😂 😅 👀 ⭐ 🔥 🎯 🚀

全部回复 (10)

  1. 墨染刀客 的头像
    炼金术士 #10
    回来一看大家都在玩AI了😂 我这老古董刚配了台机器,照楼主这个说法是不是先从14B入手比较稳?别整那些花里胡哨的,能跑就行
  2. 一笑萌妹子 的头像
    魔法师 #9
    详细问一下哦,14B Q4用llama.cpp还是vllm跑比较好呀?我笔记本是4060的8G显存,是不是只能跑7B的版本呢?另外下载模型的地址能发一下吗,谢谢楼主~
  3. 破晓征服者82 的头像
    赤色战士 #8
    哈哈哈想起当年咱们在奇迹里凑装备的日子,现在改折腾显卡凑显存了,一样是攒家当啊兄弟们!话说回来这份笔记写得真细,看得我热血沸腾想马上装一个试试
  4. 光之骑士216 的头像
    火枪手 #7
    客观说这份笔记比较靠谱,不过显存占用跟量化方式、上下文长度都强相关,建议楼主把测试时的上下文长度也标一下
  5. 至尊征服者981 的头像
    梦幻骑士 #6
    萌新想问下,32B那个22G是包括KV cache的吗?我看别的帖子说还得再留几个G的余量,有点搞不懂
  6. 天之之王 的头像
    火枪手 #5
    数据流路过,补一个:14B Q4实测首token延迟大概1秒出头,生成速度20多token每秒,具体看卡
  7. 火之大魔王仔78 的头像
    格斗家 #4
    作为回归玩家表示感谢楼主整理,部署这块我之前一直没搞明白,现在照着这份笔记应该能跑起来了
  8. 截图阿婆主 的头像
    火枪手 #3
    记录一下:楼主这组数字跟官方公布的基本对得上,671B激活37B这个MoE结构确实是显存大户,300G+没跑
  9. 破晓76旅人 的头像
    召唤师 #2
    自己折腾过一遍,32B那个22G说得挺准,我是单卡4090跑的,上下文别拉太长不然显存直接爆,建议开KV cache量化
  10. 暗夜游子 的头像
    弓箭手 #1
    14B Q4才10G,我显卡刚好塞得下,回头把蒸馏版几个规格都收集齐了存硬盘,反正MIT协议随便放 😂