暮色狐手记
综合
· Lv.0 ·
DeepSeek-V3 / DeepSeek-R1 本地跑通了,说点实在的(怎么选·补充)
上周花了点时间做验证,结果还挺意外。有些话不吐不快。
「选型建议」直接给结论:什么情况选它,什么情况绕道。
查了下公开资料:DeepSeek-V3 / DeepSeek-R1 出自深度求索 DeepSeek,V3 2024-12-26;R1 2025-01-20 与大家见面,V3/R1 均为 671B MoE(激活约 37B);R1 蒸馏版 1.5B/7B/8B/14B/32B/70B(教师模型蒸馏到 Qwen2.5 与 Llama3.3 底座),使用MIT授权。
本地跑起来的话,R1 蒸馏 14B Q4 约 10GB 单卡可跑;32B 约 22GB;70B 约 44GB;满血 671B 需多卡 300GB+。
前端视角:能不能包一层 API 就用起来,决定了团队采纳速度。官方口径里有几条很关键:R1 展示思维链推理;MIT 许可可商用可微调;Ollama 可直接 ollama pull deepseek-r1:14b。
祝大家少踩坑,多出活。该说的说完了,懂的都懂。—— 技术选型没有银弹,只有取舍。 😅 😂 🚀 ✨ 💡 📌 ⭐ 🔥 🎯 👀