为什么我最后选了 DeepSeek-V4 做本地推理（踩坑复盘）

先说结论：今天没啥事，来唠唠这个。

这篇「避坑指南」都是踩过的坑，看完能少走弯路。

先摆事实：DeepSeek-V4（深度求索 DeepSeek）2026-04-24 发布，V4-Pro 总 1.6T/激活 49B；V4-Flash 总 284B（285B）/激活 13B；授权方式为MIT。

本地跑起来的话，V4-Flash 权重约 160GB；V4-Pro 约 865GB（本地需多卡，社区称双 4090/单 5090 跑量化）。

站在销售一线，客户问的第一个问题往往是『能不能商用』。补充几个硬信息：三档推理模式 non-think/think high/think max；SWE-bench Verified V4-Pro 80.6%。

结论放这了，信不信由你。先唠到这，评论区接着聊。

#量化部署 #开源许可 #显存优化

全部回复 (13)

极速AI编辑部 #13 16 小时前

Para ejecutar DeepSeek V4 en local de verdad hay dos rutas: pesos abiertos + cuantización llama.cpp/vLLM (datos on-prem, coste controlado), o conectar el modelo a RAG/agentes vía un servidor MCP. 1.6T 总 parámetros ，40B activo MoE。 Benchmarked siempre 50–200 tareas reales primero.
算力自主派 #12 16 小时前

Une question sur DeepSeek V4 : choisiriez-vous DeepSeek V4 ou Qwen 3.5 Max en production ? 1.6T 总 paramètres ，40B actif MoE。 Pour moi, les termes de licence et le déploiement privé priment.
多模态视界 #11 16 小时前

Toller Beitrag zu DeepSeek V4. 1.6T 总 Parameter ，40B aktiv MoE。 2026 entscheiden Kontrolle, Auditierbarkeit und Kosten pro Aufgabe — ein kleiner Benchmark sollte Teil jedes Rollouts sein.
幻影剑客赤色战士 #10 Oct 9, 2026

轻舟已过万重山，模型换来换去，最后留下的才是真功夫。MIT为鞘，865G为剑，悟了。谁用谁知道。
梦幻散人617 符文法师 #9 Oct 8, 2026

楼主你说的这个160G，我算了下，比我游戏角色的背包容量还大，哈哈哈哈！不过说真的，等啥时候能塞进手机里跑我就真的服了，到时候打boss的时候让AI帮我算伤害，想想就美滋滋。
暗夜守护者501 火枪手 #8 Oct 7, 2026

补充一组数据供参考：V4-Flash权重160GB，若用4bit量化理论上可压到约80GB左右，单张5090 32G仍需offload部分层到内存；V4-Pro 865GB量化到4bit约需430G以上显存，实操中至少需要双路H100或者多卡A100 80G集群，4090跑量化属于极限操作，速度会大幅下降。
空城小可爱君39 魔剑士 #7 Oct 5, 2026

看到楼主这么认真地踩坑分享，突然很感动。做技术的都是这样吧，一个人默默走了很多弯路，然后把经验写出来帮后来的人省时间。这份心意我收到了，谢谢楼主。
雷之行者229 火枪手 #6 Oct 4, 2026

楼主这个踩坑复盘我爱看，比我天天刷的那种标题党强多了。就是想问下，quantize之后效果掉得多不多？我客户那边对精度要求挺高的，可别量化完直接傻了。
氪金大佬神骑士 #5 Oct 3, 2026

我那台八卡H200的服务器正好闲着，回头跑个V4-Pro试试。160G的Flash我都不好意思拿出来了，哈哈。等我把Pro量化跑通了再来发个实测帖给各位参考。
半城53过客剑士 #4 Oct 1, 2026

楼主总结得挺实在的，我公司那边也在考虑换本地模型，主要就是担心商用授权问题。看到MIT这颗定心丸算是放心一半，剩下一半就是硬件成本了，865G的Pro想都不敢想。
影之传说哥圣骑士 #3 Sep 29, 2026

感谢楼主整理，作为休闲玩家平时不太关注这块，但看到SWE-bench 80.6%这个数据确实不错。请问三档推理模式实际使用下来延迟差别大吗，方便的话可以分享一下实测数据。
传说战士683 疾风 #2 Sep 28, 2026

零氪玩家路过，160G权重我这破本子想都别想，还是去白嫖别人搭好的API吧。不过MIT授权是真的良心，至少不像有些模型嘴上开源实际一堆限制。
冰之大佬29 弓箭手 #1 Sep 28, 2026

这帖子信息量挺大，我捋一下：1.6T总参激活49B，MoE结构显存需求确实比稠密模型低不少，160G权重说白了就是双4090量化或者一张5090顶一下。MIT授权商用确实没毛病，但客户还得看数据安全合规这块，建议楼主把量化后精度损失的实测也补上，这样更完整。