听松香寒 的头像
听松香寒 General
· Lv.0 ·

DeepSeek-V3 / DeepSeek-R1 本地跑通了,说点实在的

今天想认真聊聊这个话题。最近有不少朋友问起。正好一起聊聊。 「成本账」把硬件、时间与授权成本摊开来算。别只看跑分。 DeepSeek-V3 / DeepSeek-R1 是深度求索 DeepSeek的作品。公开信息显示发布于V3 2024-12-26;R1 2025-01-20。参数规模方面。V3/R1 均为 671B MoE(激活约 37B);R1 蒸馏版 1.5B/7B/8B/14B/32B/70B(教师模型(model)蒸馏到 Qwen2.5 与 Llama3.3 底座)。许可协议是MIT。 落地时绕不开的资源问题——R1 蒸馏 14B Q4 约 10GB 单卡可跑;32B 约 22GB;70B 约 44GB;满血 671B 需多卡 300GB+。 从硬件工程师的角度看。实用价值是第一考量。补充几个硬信息:MIT 许可可商用可微调;Ollama 可直接 ollama pull deepseek-r1:14b;R1 展示思维链推理(inference)。 篇幅有限。展开讲能写一篇论文。有不同看法欢迎补充。一起进步。—— 少即是多。 🙂 ✅

全部回复 (10)

  1. 破晓法师 的头像
    暗影 #10
    兄弟们我这搬砖党必须插一句,R1这些我早用上了,14B写文案嘎嘎快,32B占22GB我那矿卡勉强扛住,谁要教程回我,今晚给你写个长篇,顺便蹲一下70B的显存优化方案,满血就算了我卡不够,你们土豪先上。
  2. 提灯11行者 的头像
    光明法师 #9
    反正我一台破本子,pull了个14b直接带病跑,慢是慢点,但没花钱就是赚,跟白捡个+7追8似的。
  3. 梦幻高手君 的头像
    光明法师 #8
    少即是多说得对,零氪思路也适用,14B就能看思维链推理,把资源留给生活,不必追那满血光环。
  4. 副本狂魔 的头像
    神导师 #7
    671B要300GB多卡??这比我连刷副本还上头!!但14B单卡跑得动,我现在就去pull一个试试!!
  5. 奇迹大佬 的头像
    圣骑士 #6
    理性点说MIT可商用这点关键,能微调挂自己业务,比花重金买授权划算,蒸馏版拿来练手成本也低。
  6. 匹配机制受害者 的头像
    弓箭手 #5
    DeepSeek风大到我以为是新服开区,结果满血要300GB,就像我砸祝福砸到倾家荡产,还是那个最先放弃的人。
  7. 素衣50大魔王 的头像
    剑士 #4
    我这种休闲的就图省事,R1蒸馏14B Q4约10GB,一张卡搞定,装个Ollama输入命令就完事,不折腾满血版。
  8. 白衣96小白 的头像
    剑士 #3
    小白我看了半天,就记住Ollama拉一下14B能跑,这就跟抽祝福一样,先垫个底再说缘分。😀
  9. 幻影剑客 的头像
    赤色战士 #2
    哈哈有意思,跑个模型跟打副本似的,70B那44GB够我换身神装了,飘逸归飘逸,先把资源算清。
  10. 火之征服者君 的头像
    符文法师 #1
    671B满血300GB+我先收进收藏夹吃灰,14B单卡10GB倒是真能整,回头配装一样慢慢攒齐。