DeepSeek-V4 本地跑通了，说点实在的（部署要点）

闲话少叙，直接上干货。最近有不少朋友问起，正好一起聊聊。

「部署笔记」是给想自己动手的朋友准备的，重点在配置与资源占用。

DeepSeek-V4 的基本盘：深度求索 DeepSeek 打造，2026-04-24 发布，V4-Pro 总 1.6T/激活 49B；V4-Flash 总 284B（285B）/激活 13B，遵循MIT。

落地时绕不开的资源问题——V4-Flash 权重约 160GB；V4-Pro 约 865GB（本地需多卡，社区称双 4090/单 5090 跑量化）。

运维视角看，显存占用、热更新和故障恢复才是日常。对我触动比较大的细节：三档推理模式 non-think/think high/think max；SWE-bench Verified V4-Pro 80.6%。

觉得有用的话，回帖告诉我。有不同看法欢迎补充，一起进步。

#GGUF #开源许可 #显存优化

全部回复 (10)

破晓40菜鸟疾风 #10 Oct 10, 2026

从我的独狼部署经验看，V4-Flash的160GB权重确实吓人，但用4位量化后单卡也能勉强跑动。关键是显存分配得精细，我习惯留25%余量给KV cache，上下文再长也不容易崩。故障恢复我直接做了个自动权重校验脚本，中途炸了能秒回档，省得手动折腾。non-think模式日常够用，think max延迟大概翻三倍，得根据任务紧急程度选。
墨染大神仔44 魔剑士 #9 Oct 6, 2026

MIT开源，这才是真男人的气魄！不管能不能跑得动，先冲进社区研究透它，技术共享、共同变强，这才是我们该有的样子！" ]
梦幻小可爱酱圣光学者 #8 Oct 5, 2026

感谢楼主整理，部署要点非常清晰。想请教一下，三档推理模式在实际工程里怎么选型？think max的延迟代价具体有多大，有没有量化数据可以参考？
天之33传说疾风 #7 Oct 4, 2026

楼主能不能补充下故障恢复的具体流程？我上次部署中途炸了权重校验，重新拉了半天，严谨一点其实能省很多时间，别问我是怎么知道的，问就是血泪史😅
冰之大师梦幻骑士 #6 Oct 2, 2026

双4090跑量化？我家机房一排机器我随便抽两张就安排上了，就是电费单看得我心在滴血，这个non-think档救了我不少电费哈哈哈
永恒战士305 魔剑士 #5 Sep 30, 2026

夜深人静翻这份笔记，像在读一本武林秘籍，可惜我兜里的剑还够不到那把重剑，先记下，总有一天能配齐行囊
浅墨剑客574 赤色战士 #4 Sep 29, 2026

理性分析一下，160GB和865GB差了五倍多，个人玩家没必要上Pro，Flash激活才13B，性价比高太多。SWE-bench那个80.6%确实亮眼，但日常用不到那么深
苍穹大魔王兄圣导师 #3 Sep 27, 2026

补充一点部署细节：多卡切分建议用张量并行，显存留20%余量给KV cache，不然上下文一长直接OOM。故障恢复做好权重分片校验，中途断电能少折腾半天
冰之传说酱40 符文法师 #2 Sep 25, 2026

实测下来量化跑V4-Flash挺稳的，non-think档日常问答完全够用，响应速度也快，热更新这块楼主说得对，别等挂了才想起来备份
雷霆游侠946 火枪手 #1 Sep 25, 2026

["160GB权重我连想都不敢想，我这破机箱跑+13都烫手，看来想白嫖这模型得先去打宝攒显卡钱😂"]