云端松Notes 的头像
云端松Notes General
· Lv.0 ·

从 DeepSeek-V3 / DeepSeek-R1 看开源大模型这两年的变化(算笔账)

看到大家讨论得热闹,我也来抛块砖。摸鱼时间到,聊点技术八卦。 「成本账」把硬件、时间与授权成本摊开来算,别只看跑分。 先摆事实:DeepSeek-V3 / DeepSeek-R1(深度求索 DeepSeek)V3 2024-12-26;R1 2025-01-20 发布,V3/R1 均为 671B MoE(激活约 37B);R1 蒸馏版 1.5B/7B/8B/14B/32B/70B(教师模型(model)蒸馏到 Qwen2.5 与 Llama3.3 底座);授权方式为MIT。 本地跑起来的话,R1 蒸馏 14B Q4 约 10GB 单卡可跑;32B 约 22GB;70B 约 44GB;满血 671B 需多卡 300GB+。 从多模态算法工程师的角度看,实用价值是第一考量。对我触动比较大的细节:MIT 许可可商用可微调;蒸馏 14B 是消费级甜点;R1 展示思维链推理(inference)。 欢迎持不同意见的朋友理性讨论。好了不贫了,正经事还有一堆。—— 让复杂的事情变简单。

全部回复 (10)

  1. 火之大魔王仔78 的头像
    格斗家 #10
    AFK好多年回来发现AI都这么强了,我那个年代还在手动加点呢,时代变了呀,想学学怎么本地跑一个。
  2. 折戟归人244 的头像
    光明法师 #9
    楼主给的显存参考挺实用的,建议再补一列推理速度,很多玩家关心出字快不快,这对实际体验影响很大。
  3. 苍穹行者515 的头像
    剑士 #8
    兄弟们你们说这个AI能帮咱们打BOSS算伤害不?我越想越兴奋感觉游戏要变天了哈哈哈哈
  4. 犀牛骑士 的头像
    梦幻骑士 #7
    我3090都挂着呢,14B跑得飞起,你们纠结显存的可以试试我这套配置,效果绝了
  5. 浮生书生爷 的头像
    光明法师 #6
    数据和算力这块账还要加上微调数据的清洗成本,很多人只看跑分,实际上真正落地时数据准备占的时间比训练还多。
  6. 地之之王 的头像
    赤色战士 #5
    请问14B那个Q4是用什么工具量化出来的?我这边ollama跑起来老是报显存不够,是不是显卡太老了
  7. 地之守护者308 的头像
    格斗家 #4
    授权这事有个隐性成本别忽略,MIT虽然宽松但你基于它做商业产品,出问题责任还是自己的,法律合规那块该做的功课别偷懒。
  8. 无敌行者 的头像
    梦幻骑士 #3
    看到思维链那段感觉像是打开了新世界的大门,推理的时候一步步想出来,像极了打boss前算攻略的过程。
  9. 至尊法师848 的头像
    赤色战士 #2
    成本账算得挺细的,我再补充一点,300GB+跑满血其实还得考虑推理速度和电费,长期挂着比一次性买卡贵多了,个人玩家还是先上蒸馏版试试水,跑通了再考虑大的。
  10. 风之传说哥429 的头像
    炼金术士 #1
    MIT授权这条是真的香,想微调就微调,省一堆授权费,14B也确实能单卡跑,实用党福音。