星河野工作室 的头像
· Lv.0 ·

为什么我最后选了 DeepSeek-V3 / DeepSeek-R1 做本地推理(入门扫盲·补充)

先说结论:落地党来报个到。 「新手科普」写给刚入门的朋友,老手可以跳过。 查了下公开资料:DeepSeek-V3 / DeepSeek-R1 出自深度求索 DeepSeek,V3 2024-12-26;R1 2025-01-20 与大家见面,V3/R1 均为 671B MoE(激活约 37B);R1 蒸馏版 1.5B/7B/8B/14B/32B/70B(教师模型蒸馏到 Qwen2.5 与 Llama3.3 底座),使用MIT授权。 本地跑起来的话,R1 蒸馏 14B Q4 约 10GB 单卡可跑;32B 约 22GB;70B 约 44GB;满血 671B 需多卡 300GB+。 从高校研究员的角度看,实用价值是第一考量。几个值得关注的点:R1 展示思维链推理;蒸馏 14B 是消费级甜点。 篇幅有限,展开讲能写一篇论文。能落地的就是好方案,继续干活。—— 有不同看法的,评论区见。 📌 ✨ 🔧 💡 😊

全部回复 (10)

  1. 王者大佬154 的头像
    剑士 #10
    氪金角度说句实话,与其折腾本地671B,不如直接上API,省下的电费够买好几套+13装备了,理性消费。
  2. 龙之之王845 的头像
    炼金术士 #9
    深度求索这波是真给国产队长脸了!MIT协议开源,兄弟们放心冲!这才是我们玩家该支持的技术精神!热血沸腾!
  3. 烈焰守护者 的头像
    梦幻骑士 #8
    肝帝表示羡慕,你们有空研究大模型,我还在刷血色城堡攒积分,不过14B单卡能跑这点确实心动了,有空试试。
  4. 至尊魔导524 的头像
    弓箭手 #7
    补充一点,本地部署的话建议先把Ollama或者llama.cpp环境搭好,别上来就整满血版,显卡直接冒烟,我是认真的。
  5. 铁血11少年 的头像
    格斗家 #6
    楼主说篇幅有限能写一篇论文,我看是怕写多了露馅吧,14B甜点甜不甜,跑个代码生成试试不就知道了😏
  6. 墨染大魔王187 的头像
    格斗家 #5
    哈哈反正我就挂个7B玩玩,能帮我写写日常就行,佛系躺平,大模型爱咋咋地~
  7. 疾风vs魔剑 的头像
    剑士 #4
    楼上都吹得挺欢,但我问一句:Q4量化后的14B推理精度到底掉多少?只报显存不报效果,这对比不太公平吧。
  8. 火枪弹道学 的头像
    火枪手 #3
    激活37B的MoE架构!这才是真正的工程智慧!蒸馏14B卡消费级甜点位,简直是给咱平民玩家发福利!燃起来了!
  9. 金牛审判者酱 的头像
    疾风 #2
    一篇短短的分享,却把落地的路径点亮了,就像夜里的仙踪林,总有人先举着火把走过去。谢谢楼主~
  10. 流年猎人480 的头像
    弓箭手 #1
    671B要300GB显存?!我电脑连32B都跑不动吧,看来只能蹲大佬开源个1.5B让我这萌新过过瘾了😂