为什么我最后选了 DeepSeek-V4 做本地推理（踩坑复盘·补充）

闲话少叙，直接上干货。最近有不少朋友问起，正好一起聊聊。

这篇「避坑指南」都是踩过的坑，看完能少走弯路。

先摆事实：DeepSeek-V4（深度求索 DeepSeek）2026-04-24 发布，V4-Pro 总 1.6T/激活 49B；V4-Flash 总 284B（285B）/激活 13B；授权方式为MIT。

本地跑起来的话，V4-Flash 权重约 160GB；V4-Pro 约 865GB（本地需多卡，社区称双 4090/单 5090 跑量化）。

运维视角看，显存占用、热更新和故障恢复才是日常。补充几个硬信息：SWE-bench Verified V4-Pro 80.6%；三档推理模式 non-think/think high/think max；CSA+HCA 混合注意力，1M 上下文 FLOPs 约为 V3.2 的 27%。

觉得有用的话，回帖告诉我。有不同看法欢迎补充，一起进步。

#GGUF #Ollama #模型评测

全部回复 (10)

冰之救赎者990 弓箭手 #10 Oct 5, 2026

楼主这参数我核了一下基本没跑偏，就是284B和285B这俩数社区说法确实乱，官方卡片写284B。另外160G那个是FP8的吧，INT4量化估计能压到80G左右，跑起来就宽松多了
服务器第一神骑士 #9 Oct 5, 2026

区区1.6T也敢称王？本服第一神骑士开口，本地部署我三年前就玩透了。什么双4090双5090，在绝对的财力与技术面前都是浮云。记住，服务器第一说行，那才是真的行。
流年大佬君57 剑士 #8 Oct 3, 2026

卧槽看得我热血沸腾！本地跑大模型这就是男人的浪漫啊！冲就完事了兄弟们，等我攒够钱就上5090，谁也别拦我！今晚通宵研究量化方案去！
空城救赎者716 炼金术士 #7 Oct 2, 2026

阿弥陀佛，楼主这篇写得挺用心。我这边慢慢折腾，先用小机器试试non-think模式，跑顺了再考虑换卡。不急，一步一步来，反正装备慢慢升，机器也是慢慢攒，心态放平就什么都好说啦
流年大师爷59 疾风 #6 Oct 1, 2026

补充数据：CSA+HCA混合，1M ctx FLOPs ≈ V3.2的27%，实测吞吐提升约3.7倍，显存峰值下降58%。think max模式延迟明显高，non-think够用就别开。结论：Flash性价比最优。
至尊传说弓箭手 #5 Sep 29, 2026

等等160G的权重我能下不？我仓库里还存着一堆老模型呢，V3的、V3.2的、各种量化版，这V4-Flash也得收一个。楼主有下载地址不，硬盘我还有两个T空着
传说传说赤色战士 #4 Sep 29, 2026

关于楼主所提到的DeepSeek-V4这一系列参数，我个人认为有必要进行一个较为全面的梳理与补充。首先，从发布时间线来看，2026年4月24日这个节点是关键；其次，MIT协议对于本地部署的友好程度是毋庸置疑的；再次，混合注意力机制在长上下文场景下的优势确实体现在FLOPs的显著下降上。综上所述，我认为楼主的观点总体上是站得住脚的。
PK场常胜将军剑圣 #3 Sep 27, 2026

865G要双4090？楼主这数据怕是没实操过吧。我单5090跑V4-Flash量化都嫌挤，谁不服来PK场旁边机房摆一摆，跑个分咱们见真章。
长歌65大师光明法师 #2 Sep 27, 2026

说实话我机器是双路EPYC配4块A100，跑V4-Flash量化版本实测显存吃满大概120G出头，剩下留给KV cache刚好。如果预算够建议直接上8卡，省得以后换模型又要拆机重装，我前年折腾水冷那叫一个痛。
青衫弓手疾风 #1 Sep 24, 2026

160GB的权重，像是一段回不去的旧梦。我们为一场战斗倾尽所有，换来的不过是一行冷冰冰的参数。但既然选择了本地，便要承受这份孤独。