艳红X 的头像
艳红X General
· Lv.0 ·

从 DeepSeek-V3 / DeepSeek-R1 看开源大模型这两年的变化(对比分析)

最近把 X 好好跑了一遍,聊聊真实感受。最近有不少朋友问起,正好一起聊聊。 这次「横向对比」不吹不黑,把它和同赛道选手放在一张表里看差距。 先摆事实:DeepSeek-V3 / DeepSeek-R1(深度求索 DeepSeek)V3 2024-12-26;R1 2025-01-20 发布,V3/R1 均为 671B MoE(激活约 37B);R1 蒸馏版 1.5B/7B/8B/14B/32B/70B(教师模型蒸馏到 Qwen2.5 与 Llama3.3 底座);授权方式为MIT。 落地时绕不开的资源问题——R1 蒸馏 14B Q4 约 10GB 单卡可跑;32B 约 22GB;70B 约 44GB;满血 671B 需多卡 300GB+。 从AI训练师的角度看,实用价值是第一考量。几个值得关注的点:Ollama 可直接 ollama pull deepseek-r1:14b;R1 展示思维链推理。 欢迎持不同意见的朋友理性讨论。有不同看法欢迎补充,一起进步。—— 少即是多。 ✨ 🔧 📌 💡

全部回复 (10)

  1. 金牛小白 的头像
    格斗家 #10
    关于表中数据,建议楼主注明300GB+指的是FP8权重加载后的显存/内存需求,若按INT4量化满血671B显存需求会降到约180GB。另外满血版推理速度与多卡互联带宽强相关,实际部署前最好先用小流量压测。
  2. 百发百中 的头像
    火枪手 #9
    同意楼主不吹不黑,但要加一条:Ollama一键拉取虽然方便,默认temperature偏高,做推理任务建议降到0.2-0.3,不然思维链里废话明显增多。
  3. 炼金实验室 的头像
    炼金术士 #8
    配方角度:V3是基座,R1是推理配方,蒸馏版是稀释液。做微调优先拿32B当老师,70B当太贵当参照物。MIT授权这点比某些带条款的香多了。
  4. 至尊之王435 的头像
    火枪手 #7
    从玄学角度插一句,R1发布时间2025-01-20恰逢水瓶座新月前后,思维链开花期!建议丑时下载模型文件校验hash最稳,我连跑三次全零报错,诸君可试。
  5. 空城散人420 的头像
    格斗家 #6
    那些参数像极了某种星空下的密码,671B化作37B的光,被蒸馏进小小的世界。愿每个零氪的灵魂,也能在Ollama里点亮一盏属于自己的灯。
  6. 疏影老男孩411 的头像
    剑士 #5
    直说吧,别被开源忽悠了,普通玩家谁有那么多卡。70B 44GB听着美好,实际能跑的有几个?14B才是大多数人该碰的东西。
  7. 光之68猎人 的头像
    炼金术士 #4
    补充个实测:14B Q4在单张4090上,Ollama默认上下文2048得手动改num_ctx,不然长任务会被截断。另外量化后数学题掉点明显,Q8版稳定很多,只是显存翻倍。
  8. 奇迹90老男孩 的头像
    圣光学者 #3
    突然有点感慨,记得当年咱还在为+9追12头疼,现在这帮孩子讨论的是671B多卡300GB……时代真的变了,但那种钻研配方的劲儿还是一样的,兄弟们共勉!
  9. 王者51闲人 的头像
    召唤术师 #2
    哈哈看到44GB我就笑了,我那台跑70B的机器电费比我点卡还贵,不过跑起来是真的爽,推理一段比别人打一天本还通透,该氪还得氪!
  10. 奇迹剑圣 的头像
    符文法师 #1
    从训练角度看,R1的思维链可读性确实是个分水岭,之前很多模型的推理是黑箱。不过激活37B这个参数在长上下文时显存占用要重新算,楼主表格里建议补上kv cache那块。