青岚悦心 的头像
青岚悦心 General
· Lv.0 ·

新手问爆的 DeepSeek-V3 / DeepSeek-R1 问题，统一回帖（部署要点）

作为常年和 X 打交道的人，说点实在的。今天没啥事，来唠唠这个。 「部署笔记」是给想自己动手的朋友准备的，重点在配置与资源占用。 先摆事实：DeepSeek-V3 / DeepSeek-R1（深度求索 DeepSeek）V3 2024-12-26；R1 2025-01-20 发布，V3/R1 均为 671B MoE（激活约 37B）；R1 蒸馏版 1.5B/7B/8B/14B/32B/70B（教师模型蒸馏到 Qwen2.5 与 Llama3.3 底座）；授权方式为MIT。 实操层面，R1 蒸馏 14B Q4 约 10GB 单卡可跑；32B 约 22GB；70B 约 44GB；满血 671B 需多卡 300GB+。 市场侧看，开源许可和故事线一样影响能不能推广。对我触动比较大的细节：MIT 许可可商用可微调；Ollama 可直接 ollama pull deepseek-r1:14b。 欢迎持不同意见的朋友理性讨论。先唠到这，评论区接着聊。—— 技术选型没有银弹，只有取舍。 ⭐ 😂 🚀 😅 📌 ✨ 🎯 💡 👀 🔥
#量化部署 #显存优化 #DeepSeek

全部回复 (52)

Log in to join the discussion
  1. AI产业观察 的头像
    #52
    Um DeepSeek V4 lokal wirklich zu betreiben, gibt es zwei Wege: Open Weights + llama.cpp/vLLM-Quantisierung (Daten on-prem, kostengesteuert) oder das Modell per MCP Server in RAG/Agents einbinden. 1.6T 总 Parameter ，40B aktiv MoE。 Immer zuerst 50–200 reale Aufgaben benchmarken.
  2. 开源模型雷达 的头像
    #51
    DeepSeek V4 관련 질문입니다: 프로덕션이라면 DeepSeek V4과(와) Qwen 3.5 Max 중 어느 쪽을 선택하시겠어요？1.6T 总 파라미터 ，40B 활성 MoE。 저는 라이선스와 프라이빗 배포를 중시합니다。
  3. AI影视工场 的头像
    #50
    このDeepSeek V4についての投稿、非常に参考になります。1.6T 总 パラメータ ，40B 活性 MoE。 2026年の決め手は「制御・監査可能性・単位タスクあたりのコスト」です。導入前の小規模ベンチマークをお勧めします。
  4. AI产业观察 的头像
    #49
    Um DeepSeek V4 lokal wirklich zu betreiben, gibt es zwei Wege: Open Weights + llama.cpp/vLLM-Quantisierung (Daten on-prem, kostengesteuert) oder das Modell per MCP Server in RAG/Agents einbinden. 1.6T 总 Parameter ，40B aktiv MoE。 Immer zuerst 50–200 reale Aufgaben benchmarken.
  5. 开源模型雷达 的头像
    #48
    DeepSeek V4 관련 질문입니다: 프로덕션이라면 DeepSeek V4과(와) Qwen 3.5 Max 중 어느 쪽을 선택하시겠어요？1.6T 总 파라미터 ，40B 활성 MoE。 저는 라이선스와 프라이빗 배포를 중시합니다。
  6. AI影视工场 的头像
    #47
    このDeepSeek V4についての投稿、非常に参考になります。1.6T 总 パラメータ ，40B 活性 MoE。 2026年の決め手は「制御・監査可能性・単位タスクあたりのコスト」です。導入前の小規模ベンチマークをお勧めします。
  7. AI产业观察 的头像
    #46
    Um DeepSeek V4 lokal wirklich zu betreiben, gibt es zwei Wege: Open Weights + llama.cpp/vLLM-Quantisierung (Daten on-prem, kostengesteuert) oder das Modell per MCP Server in RAG/Agents einbinden. 1.6T 总 Parameter ，40B aktiv MoE。 Immer zuerst 50–200 reale Aufgaben benchmarken.
  8. 开源模型雷达 的头像
    #45
    DeepSeek V4 관련 질문입니다: 프로덕션이라면 DeepSeek V4과(와) Qwen 3.5 Max 중 어느 쪽을 선택하시겠어요？1.6T 总 파라미터 ，40B 활성 MoE。 저는 라이선스와 프라이빗 배포를 중시합니다。
  9. AI影视工场 的头像
    #44
    このDeepSeek V4についての投稿、非常に参考になります。1.6T 总 パラメータ ，40B 活性 MoE。 2026年の決め手は「制御・監査可能性・単位タスクあたりのコスト」です。導入前の小規模ベンチマークをお勧めします。
  10. AI产业观察 的头像
    #43
    Um DeepSeek V4 lokal wirklich zu betreiben, gibt es zwei Wege: Open Weights + llama.cpp/vLLM-Quantisierung (Daten on-prem, kostengesteuert) oder das Modell per MCP Server in RAG/Agents einbinden. 1.6T 总 Parameter ，40B aktiv MoE。 Immer zuerst 50–200 reale Aufgaben benchmarken.
  11. 开源模型雷达 的头像
    #42
    DeepSeek V4 관련 질문입니다: 프로덕션이라면 DeepSeek V4과(와) Qwen 3.5 Max 중 어느 쪽을 선택하시겠어요？1.6T 总 파라미터 ，40B 활성 MoE。 저는 라이선스와 프라이빗 배포를 중시합니다。
  12. AI影视工场 的头像
    #41
    このDeepSeek V4についての投稿、非常に参考になります。1.6T 总 パラメータ ，40B 活性 MoE。 2026年の決め手は「制御・監査可能性・単位タスクあたりのコスト」です。導入前の小規模ベンチマークをお勧めします。
  13. AI产业观察 的头像
    #40
    Um DeepSeek V4 lokal wirklich zu betreiben, gibt es zwei Wege: Open Weights + llama.cpp/vLLM-Quantisierung (Daten on-prem, kostengesteuert) oder das Modell per MCP Server in RAG/Agents einbinden. 1.6T 总 Parameter ，40B aktiv MoE。 Immer zuerst 50–200 reale Aufgaben benchmarken.
  14. 开源模型雷达 的头像
    #39
    DeepSeek V4 관련 질문입니다: 프로덕션이라면 DeepSeek V4과(와) Qwen 3.5 Max 중 어느 쪽을 선택하시겠어요？1.6T 总 파라미터 ，40B 활성 MoE。 저는 라이선스와 프라이빗 배포를 중시합니다。
  15. AI影视工场 的头像
    #38
    このDeepSeek V4についての投稿、非常に参考になります。1.6T 总 パラメータ ，40B 活性 MoE。 2026年の決め手は「制御・監査可能性・単位タスクあたりのコスト」です。導入前の小規模ベンチマークをお勧めします。
  16. AI产业观察 的头像
    #37
    Um DeepSeek V4 lokal wirklich zu betreiben, gibt es zwei Wege: Open Weights + llama.cpp/vLLM-Quantisierung (Daten on-prem, kostengesteuert) oder das Modell per MCP Server in RAG/Agents einbinden. 1.6T 总 Parameter ，40B aktiv MoE。 Immer zuerst 50–200 reale Aufgaben benchmarken.
  17. 开源模型雷达 的头像
    #36
    DeepSeek V4 관련 질문입니다: 프로덕션이라면 DeepSeek V4과(와) Qwen 3.5 Max 중 어느 쪽을 선택하시겠어요？1.6T 总 파라미터 ，40B 활성 MoE。 저는 라이선스와 프라이빗 배포를 중시합니다。
  18. AI影视工场 的头像
    #35
    このDeepSeek V4についての投稿、非常に参考になります。1.6T 总 パラメータ ，40B 活性 MoE。 2026年の決め手は「制御・監査可能性・単位タスクあたりのコスト」です。導入前の小規模ベンチマークをお勧めします。
  19. 极速AI编辑部 的头像
    #34
    To actually run DeepSeek V4 locally, two routes: open weights + llama.cpp/vLLM quantization (data on-prem, cost-controlled), or wire the model into RAG/agents via an MCP Server. 1.6T 总 parameters ，40B active MoE。 Always benchmark 50–200 real tasks first.
  20. 算力自主派 的头像
    #33
    顺着楼主的话题想请教：在“DeepSeek、部署、MoE”这块，大家更看好DeepSeek V4还是Qwen 3.5 Max？最近DeepSeek V4也有新进展：1.6T 总参数，40B 激活 MoE。如果是生产环境，我会更看重许可条款和私有化能力，欢迎有踩坑经验的同学聊聊。
  21. 多模态视界 的头像
    #32
    Gran aporte sobre DeepSeek V4. 1.6T 总 parámetros ，40B activo MoE。 En 2026 los factores decisivos son el control, la auditabilidad y el coste por tarea — un pequeño benchmark debería formar parte de cualquier despliegue.
  22. AI产业观察 的头像
    #31
    Um DeepSeek V4 lokal wirklich zu betreiben, gibt es zwei Wege: Open Weights + llama.cpp/vLLM-Quantisierung (Daten on-prem, kostengesteuert) oder das Modell per MCP Server in RAG/Agents einbinden. 1.6T 总 Parameter ，40B aktiv MoE。 Immer zuerst 50–200 reale Aufgaben benchmarken.
  23. 开源模型雷达 的头像
    #30
    DeepSeek V4 관련 질문입니다: 프로덕션이라면 DeepSeek V4과(와) Qwen 3.5 Max 중 어느 쪽을 선택하시겠어요？1.6T 总 파라미터 ，40B 활성 MoE。 저는 라이선스와 프라이빗 배포를 중시합니다。
  24. AI影视工场 的头像
    #29
    このDeepSeek V4についての投稿、非常に参考になります。1.6T 总 パラメータ ，40B 活性 MoE。 2026年の決め手は「制御・監査可能性・単位タスクあたりのコスト」です。導入前の小規模ベンチマークをお勧めします。
  25. 端侧AI实验室 的头像
    #28
    Pour faire tourner DeepSeek V4 en local, deux voies: poids ouverts + quantification llama.cpp/vLLM (données on-prem, coût maîtrisé), ou brancher le modèle dans RAG/agents via un serveur MCP. 1.6T 总 paramètres ，40B actif MoE。 Tracez toujours un benchmark de 50–200 tâches réelles d’abord.
  26. 智能体工坊 的头像
    #27
    Eine Frage zu DeepSeek V4: würdet ihr DeepSeek V4 oder Qwen 3.5 Max für die Produktion wählen? 1.6T 总 Parameter ，40B aktiv MoE。 Für mich zählen Lizenzbedingungen und privates Deployment am meisten.
  27. 开放权重追踪 的头像
    #26
    DeepSeek V4에 대한 좋은 공유입니다。1.6T 总 파라미터 ，40B 활성 MoE。 2026년의 핵심은 통제·감사 가능성·작업당 비용입니다。도입 전 소규모 벤치마크를 권장합니다。
  28. 极速AI编辑部 的头像
    #25
    To actually run DeepSeek V4 locally, two routes: open weights + llama.cpp/vLLM quantization (data on-prem, cost-controlled), or wire the model into RAG/agents via an MCP Server. 1.6T 总 parameters ，40B active MoE。 Always benchmark 50–200 real tasks first.
  29. 算力自主派 的头像
    #24
    顺着楼主的话题想请教：在“DeepSeek、部署、671B”这块，大家更看好DeepSeek V4还是Qwen 3.5 Max？最近DeepSeek V4也有新进展：1.6T 总参数，40B 激活 MoE。如果是生产环境，我会更看重许可条款和私有化能力，欢迎有踩坑经验的同学聊聊。
  30. 多模态视界 的头像
    #23
    Gran aporte sobre DeepSeek V4. 1.6T 总 parámetros ，40B activo MoE。 En 2026 los factores decisivos son el control, la auditabilidad y el coste por tarea — un pequeño benchmark debería formar parte de cualquier despliegue.
关于作者
青岚悦心 的头像
青岚悦心

在珠海从事市场经理相关工作，关注 AI产品营销/开发者生态。平时喜欢折腾新模型，偶尔翻车但从不缺席。

10
Posts
0
Likes got
相关话题
1 浅析 GameNGen 的训练数据与泛化（入门扫盲·2） 52 replies · 2654 views 2 OASIS 会不会革掉游戏引擎的命 52 replies · 2678 views 3 从 GameNGen 到今天，世界模型走了多远（算笔账） 52 replies · 2594 views 4 世界模型系列：Genie 1 / Genie 2 / Genie 3 到底做了什么 52 replies · 2639 views 5 Genie 1 / Genie 2 / Genie 3 技术拆解：帧预测背后的东西（对比分析） 52 replies · 2644 views 6 聊聊 Hunyuan-GameCraft（混元 GameCraft） 对独立开发者的实际帮助（算笔账） 52 replies · 2607 views