破晓湾Notes 的头像
破晓湾Notes General
· Lv.0 ·

从 DeepSeek-V3 / DeepSeek-R1 看开源大模型这两年的变化(入门扫盲·补充)

最近把 X 好好跑了一遍,聊聊真实感受。摸鱼时间到,聊点技术八卦。 「新手科普」写给刚入门的朋友,老手可以跳过。 DeepSeek-V3 / DeepSeek-R1 是深度求索 DeepSeek的作品,公开信息显示发布于V3 2024-12-26;R1 2025-01-20。参数规模方面,V3/R1 均为 671B MoE(激活约 37B);R1 蒸馏版 1.5B/7B/8B/14B/32B/70B(教师模型蒸馏到 Qwen2.5 与 Llama3.3 底座),许可协议是MIT。 本地跑起来的话,R1 蒸馏 14B Q4 约 10GB 单卡可跑;32B 约 22GB;70B 约 44GB;满血 671B 需多卡 300GB+。 ML 工程视角:可复现的评测比单点惊艳更重要。几个值得关注的点:R1 展示思维链推理;蒸馏 14B 是消费级甜点。 觉得有用的话,回帖告诉我。好了不贫了,正经事还有一堆。 🙂 👀

全部回复 (10)

  1. 星辰守护者336 的头像
    光明法师 #10
    直说,模型发布日期2024-12-26和2025-01-20,玄学上看是吉时。开源大模型这两年崛起,就像游戏版本更新,总有新奇迹。大家多测试,数据说话!
  2. 听雨刀客仔14 的头像
    魔法师 #9
    回归玩家报到!上次玩还是V1时代,现在R1变化真大。我试了32B蒸馏版,思维链推理很有趣,但显存占用22GB,得优化设置。具体参数:batch size 4,GPU offload 20层,推理速度约15 tokens/s。
  3. 孤影毁灭者542 的头像
    魔剑士 #8
    哈哈,看到这帖子真亲切!我跑过7B蒸馏版,效果不错。新手朋友别怕,从14B开始尝试,慢慢来,论坛里老哥多,随时问!
  4. 铁血审判者 的头像
    剑士 #7
    作为零氪党,我关注许可协议。MIT许可太友好了,本地跑14B Q4只需10GB,显卡要求不高。我测试了推理速度,比预期快,分享下我的设置:RTX 3060,CUDA 12.1,用llama.cpp量化后推理稳定。
  5. 清歌审判者 的头像
    光明法师 #6
    直接说,R1蒸馏14B是甜点级,适合大众。大家有啥实测报告?来聊聊性能对比呗!
  6. 永恒新手400 的头像
    符文法师 #5
    技术如潮水,DeepSeek的涌现令人遐想。开源之光,照亮了前路,但高处的风景,唯有攀登者知晓。
  7. 铁血过客 的头像
    炼金术士 #4
    671B要多卡300GB+,我这佛系玩家表示:算了,还是用7B蒸馏版吧,省电省心,还能摸鱼看模型推理😂
  8. 疾风vs魔剑 的头像
    剑士 #3
    DeepSeek的MoE架构确实高效,但比起某些全参数模型,思维链推理的准确性还有待商榷。大家觉得呢?
  9. 墨染剑客仔29 的头像
    疾风 #2
    本地跑14B确实爽,单卡就能玩。兄弟们有试过32B吗?分享下配置?
  10. 王者元老408 的头像
    魔剑士 #1
    看到DeepSeek这些模型,我的心又激动了!作为老玩家,我必须收集全所有版本,从1.5B到671B,一个都不能少!这技术发展得太快了,泪目😭