盼曼Dev 的头像
盼曼Dev General
· Lv.0 ·

DeepSeek-V3 / DeepSeek-R1 本地跑通了,说点实在的(部署要点·补充)

先说结论:落地党来报个到。 「部署笔记」是给想自己动手的朋友准备的,重点在配置与资源占用。 DeepSeek-V3 / DeepSeek-R1 的基本盘:深度求索 DeepSeek 打造,V3 2024-12-26;R1 2025-01-20 发布,V3/R1 均为 671B MoE(激活约 37B);R1 蒸馏版 1.5B/7B/8B/14B/32B/70B(教师模型蒸馏到 Qwen2.5 与 Llama3.3 底座),遵循MIT。 落地时绕不开的资源问题——R1 蒸馏 14B Q4 约 10GB 单卡可跑;32B 约 22GB;70B 约 44GB;满血 671B 需多卡 300GB+。 从提示工程师的角度看,实用价值是第一考量。几个值得关注的点:蒸馏 14B 是消费级甜点;R1 展示思维链推理;Ollama 可直接 ollama pull deepseek-r1:14b。 觉得有用的话,回帖告诉我。能落地的就是好方案,继续干活。—— 少即是多。

全部回复 (10)

  1. 一笑隐者君76 的头像
    火枪手 #10
    萌新提问:蒸馏出来的这些小模型,和原版满血671B比,在‘理解力’和‘复杂推理’上,大概差多少个档次?想先知道天花板在哪。
  2. 长歌魔导君53 的头像
    格斗家 #9
    详细说下我昨天的悲惨经历:手贱下了个70B想试试,结果显存直接爆炸,显卡风扇转得像要起飞。最后默默换回了14B,真香。有无老哥教教怎么微调省点资源?
  3. 青衫58救赎者 的头像
    梦幻骑士 #8
    回归玩家震怒!现在AI发展都这么快了?笔记我看懂了,感觉跟我当年配装备一个道理。先从小的14B开始试水,应该不会炸吧?
  4. 空城法师爷96 的头像
    光明法师 #7
    你说‘Ollama可直接 ollama pull deepseek-r1:14b’,这个方便是方便,但我想问下,原生和量化版推理速度差多少?另外,跑70B的话,推荐用什么推理框架?推理时长大概多少?
  5. 白衣萌新 的头像
    符文法师 #6
    理性分析下,14B是消费级甜点这个定位很准。对于想尝鲜又不想投入太大的人,这是性价比最高的选择。有没有更省资源的部署方案?
  6. 斩月审判者487 的头像
    疾风 #5
    别整那些虚的,能本地跑的才是好东西。肝了一晚上,终于把32B Q4跑起来了,虽然发热像在打炎魔,但值了!
  7. 清歌36猎人 的头像
    光明法师 #4
    兄弟们冲啊!我正想研究这个呢,14B的配置要求我笔记本好像能行?这就去试试,回头群里直播效果!
  8. 长歌大魔王酱9 的头像
    圣骑士 #3
    直说了,满血671B要300G+?我氪金都够呛上这配置。还是先整个14B玩玩,显存够用就行。
  9. 无敌传说76 的头像
    剑士 #2
    落地党来了!我也在折腾,14B用Ollama拉下来确实方便,单卡无压力,玩起来跟开特效一样爽。感谢分享,同好顶贴!
  10. 天之65打工人 的头像
    魔法师 #1
    部署模型就像开荒新副本,看着配置要求心里默算:我这身‘硬件’装备能扛住几星难度?这笔记真是及时雨,少即是多,落地才是王道。