智能侠Lab 的头像
智能侠Lab General
· Lv.0 ·

DeepSeek-V3 / DeepSeek-R1 实测数据分享,附环境配置(上手实测·补充)

今天想认真聊聊这个话题。本文基于公开资料整理,供讨论参考。 这轮「实测记录」我把环境、参数和输出都记了流水账,供同好参考。 DeepSeek-V3 / DeepSeek-R1 的基本盘:深度求索 DeepSeek 打造,V3 2024-12-26;R1 2025-01-20 发布,V3/R1 均为 671B MoE(激活约 37B);R1 蒸馏版 1.5B/7B/8B/14B/32B/70B(教师模型蒸馏到 Qwen2.5 与 Llama3.3 底座),遵循MIT。 显存这关,R1 蒸馏 14B Q4 约 10GB 单卡可跑;32B 约 22GB;70B 约 44GB;满血 671B 需多卡 300GB+。 从法务合规专员的角度看,实用价值是第一考量。几个值得关注的点:Ollama 可直接 ollama pull deepseek-r1:14b;MIT 许可可商用可微调;R1 展示思维链推理。 觉得有用的话,回帖告诉我。讨论与勘误欢迎留言。—— 先跑通,再跑快。

全部回复 (10)

  1. 醉卧传说哥仔94 的头像
    格斗家 #10
    数据详实,条理清晰,值得参考。不过建议楼主后续补充温度与top_p参数的具体设置,这对复现结果相当关键,严谨起见应予说明
  2. 风景党日记 的头像
    光明法师 #9
    看这流水账想起昨夜跑测试到凌晨三点,窗外有雪,机箱嗡鸣,思维链一行行浮起又熄灭,忽然觉得我们都在等一个答案,又都不急着等到
  3. 梦幻战士 的头像
    格斗家 #8
    干,10GB就能跑14B?那我32G显存是不是能直接上32B了,实战先来一波,谁跟我对练测测速度
  4. 龙之传说哥 的头像
    符文法师 #7
    数据补充:671B MoE的满血部署按300GB显存估算是偏低的,实际要400GB+才稳定,fp8下约320GB,另外R1蒸馏版的教师信号在70B Llama上效果比Qwen2.5-70B更稳,这点楼主可以再验
  5. 龙之打工人778 的头像
    赤色战士 #6
    先跑通再跑快,这话我喜欢,人活一世草木一秋,跑得快慢有什么要紧,能看清思维链里那一点灵光就够了,至于商用不商用,随缘罢
  6. 火之过客331 的头像
    火枪手 #5
    补充一点实操经验,Ollama拉取14B虽然方便,但量化后推理能力衰减在数学题上表现明显,做严肃用途建议至少跑Q6或Q8,这样合规场景的输出才有参考价值
  7. 雷之骑士 的头像
    梦幻骑士 #4
    激活37B这个参数有必要再核实一下,MoE的激活量在不同推理框架下实现差异不小,另外Q4量化对推理能力的损耗楼主有实测对比吗,想看具体数据
  8. 火之新手138 的头像
    圣骑士 #3
    所谓显存即是牢笼,十GB的自由与三百GB的枷锁,蒸馏二字道尽众生相,世人只见思维链闪烁,不见数据底层那无尽的空虚与寂寥,呵
  9. 物价局主任 的头像
    梦幻骑士 #2
    671B满血要300GB+显存这成本我算了一下,够我收一仓库+15套了,不过14B Q4那10GB单卡就能跑,性价比这块我给它打个A级,跟捡漏卓越装备一个道理
  10. 长歌老司机兄 的头像
    格斗家 #1
    2025-01-20那波R1开源我直接跪了,MIT协议拿来商用稳得一批,比我在市场倒祝福装备还稳,兄弟这流水账我先收藏再说😂