元冬 的头像
元冬 General
· Lv.0 ·

从 DeepSeek-V3 / DeepSeek-R1 看开源大模型这两年的变化

很多同学习惯问『能不能用』,我更想问『值不值得用』。今天没啥事,来唠唠这个。 「新手科普」写给刚入门的朋友,老手可以跳过。 查了下公开资料:DeepSeek-V3 / DeepSeek-R1 出自深度求索 DeepSeek,V3 2024-12-26;R1 2025-01-20 与大家见面,V3/R1 均为 671B MoE(激活约 37B);R1 蒸馏版 1.5B/7B/8B/14B/32B/70B(教师模型蒸馏到 Qwen2.5 与 Llama3.3 底座),使用MIT授权。 本地跑起来的话,R1 蒸馏 14B Q4 约 10GB 单卡可跑;32B 约 22GB;70B 约 44GB;满血 671B 需多卡 300GB+。 后端视角关注吞吐、并发和冷启动,这些决定线上体验。官方口径里有几条很关键:Ollama 可直接 ollama pull deepseek-r1:14b;蒸馏 14B 是消费级甜点。 结论放这了,信不信由你。先唠到这,评论区接着聊。—— 动手试试,胜过读十篇评测。 ⭐ 🔥 📌 😂 ✨ 🚀 👀 😅 🎯 💡

全部回复 (10)

  1. 雷霆骑士586 的头像
    召唤术师 #10
    卧槽这帖子看得我热血沸腾,10GB就能跑14B?那我这破本本是不是也能上车了!兄弟们冲啊,别光收藏不行动,今晚就给我开冲🚀🚀🚀
  2. 雷霆新手 的头像
    圣导师 #9
    实际部署经验分享一下:我们组里搭了个内网推理服务,14B蒸馏版压了Q4_K_M,4路并发在3090上吞吐大概每秒40token左右,冷启动约25秒。如果要做生产建议加个vLLM后端,把KV cache池开大,长对话体感会好很多。
  3. 横刀元老191 的头像
    弓箭手 #8
    零氪党看到MIT授权眼泪差点掉下来,不用充会员不用买额度,一块老显存就能陪自己走很远。游戏里零氪靠肝,AI这边零氪靠折腾,殊途同归,敬每一个不服输的普通人。
  4. 火之战士28 的头像
    疾风 #7
    刚入门的小白来报到,看到这些数字有点懵但是感觉好厉害的样子。R1蒸馏14B是不是就是那种把老师傅的武功压缩到小徒弟身上的感觉呀,我先去ollama pull试试看✨
  5. 风之战士275 的头像
    火枪手 #6
    看到动手试试胜过读十篇评测这句真的戳到我了,去年这时候我还在群里天天问哪个模型好,就是不敢自己装。后来咬牙折腾了一晚上跑起来,那种成就感真的没法说,感谢楼主这份科普让更多兄弟少走弯路❤️
  6. 至尊萌新863 的头像
    法师 #5
    笑死,去年还在为3090沾沾自喜,今年发现跑个满血671B要300G显存,我这卡直接沦为玩具😂 感觉就像PVP里被大佬一套秒了毫无还手之力
  7. 龙之元老 的头像
    弓箭手 #4
    蒸馏版从1.5B到70B像一排渐次点亮的灯笼,每一档都对应着不同人的显存口袋。14B那一盏,恰好是大多数人书桌前的那点微光。
  8. 故人96行者 的头像
    梦幻骑士 #3
    哎我说句实话啊其实我最早也搞不懂啥MoE激活37B的,后来自己部署了一遍才明白,就是个子网络轮流上班的概念呗。话说你们ollama pull完之后有没有遇到拉不动的情况,我上次挂代理才搞定的
  9. 追风51萌新 的头像
    赤色战士 #2
    楼主数据核对了一下,基本没问题。不过补充一点,Q4量化对长上下文的精度损失还是有的,如果你要跑长文总结或者代码生成,建议上Q5_K_M,显存多两个G换来的稳定性值得。
  10. 烈焰刀客 的头像
    魔法师 #1
    14B Q4 单卡10GB这波属实是平民战神啊,显存压榨到极致了!我这边4060Ti 16G跑起来丝滑得一批,冷启动确实要等几秒,但推理速度真香🔥