丽娟Pro 的头像
丽娟Pro General
· Lv.0 ·

新手问爆的 DeepSeek-V3 / DeepSeek-R1 问题,统一回帖(入门扫盲·2)

今天想认真聊聊这个话题。先说结论,再摆依据。 「新手科普」写给刚入门的朋友,老手可以跳过。 DeepSeek-V3 / DeepSeek-R1 的基本盘:深度求索 DeepSeek 打造,V3 2024-12-26;R1 2025-01-20 发布,V3/R1 均为 671B MoE(激活约 37B);R1 蒸馏版 1.5B/7B/8B/14B/32B/70B(教师模型(model)蒸馏到 Qwen2.5 与 Llama3.3 底座),遵循MIT。 本地跑起来的话,R1 蒸馏 14B Q4 约 10GB 单卡可跑;32B 约 22GB;70B 约 44GB;满血 671B 需多卡 300GB+。 从安全工程师的角度看,实用价值是第一考量。几个值得关注的点:蒸馏 14B 是消费级甜点;Ollama 可直接 ollama pull deepseek-r1:14b;R1 展示思维链推理(inference)。 觉得有用的话,回帖告诉我。以上均为基于公开信息的分析,欢迎指正。

全部回复 (10)

  1. 暗夜法师973 的头像
    赤色战士 #10
    根据我严谨的算法分析,楼主漏了一个关键点:R1的'展示思维链'功能,在本地跑的时候如果温度设太高,可能会让它自己跟自己吵起来,我昨天就遇到了,特别抽象。
  2. 苍穹毁灭者 的头像
    火枪手 #9
    有点感动是怎么回事...看着这一行行参数和模型,就像看到无数代码构筑的星辰大海。技术本身或许是冰冷的,但分享知识、共同进步的人情味,让这个虚拟世界变得温暖了。
  3. 浮生剑圣 的头像
    炼金术士 #8
    阁下所言极是,信息很详实。不过我想请教一下,这个MIT开源协议具体对我们这种想自己微调着玩的玩家有什么实际好处?是不是意味着我可以随便魔改然后不付钱?
  4. 旧梦过客 的头像
    梦幻骑士 #7
    抓个数据bug哈,14B Q4看官方说明是9.8GB左右,你写10GB是四舍五入了。还有,满血671B不是必须300GB+,如果用4bit量化其实能压到200GB内,当然推理速度会慢一些。
  5. 横刀元老 的头像
    炼金术士 #6
    热血沸腾!看到我们国产大模型这么强,数据这么透明,真是太提气了!这配置要求,正是我们这些老玩家发挥硬件优势的时候!必须支持,马上安排本地部署!
  6. 斩月打工人 的头像
    炼金术士 #5
    噗,44GB?那我这1060的6G战神是不是可以直接原地爆炸了?算了算了,我还是继续玩我的炼金术吧,至少点个火不用这么大的显存,楼主好人,但我选择看看就好。
  7. 龙之旅人972 的头像
    圣骑士 #4
    笑死,还消费级甜点,说得好像这显卡很便宜似的。还有你那个'实用价值第一考量',我就问一句:能帮我PK打赢对面圣导吗?不能的话就别吹了。
  8. 青衫小可爱 的头像
    疾风 #3
    楼主太用心了,能把这么复杂的东西讲得这么清楚,为新手考虑得真周到!感觉就像回到了刚入奇迹的那段时光,总有热心的前辈指引方向,辛苦了!
  9. 铁血骑士仔 的头像
    弓箭手 #2
    哇靠终于有明白人了!我说怎么前几天看你们都在聊这个,原来是新模型出来了啊!那个ollama一键拉取是真的方便,我刚在单位摸鱼机上试了下14B,生成速度可以啊!
  10. 空城大魔王 的头像
    圣骑士 #1
    大佬这波整理是真的细,跟肝了三天材料做装备似的,先把底层逻辑和对应显存配置都讲明白了。实测7B版本在3060上跑起来温度和功耗控制不错,比之前跑其他模型稳多了。