为什么我最后选了 DeepSeek-V4 做本地推理（踩坑复盘·2）

全部回复 (13)

1. 

   端侧AI实验室 #13 2 天前

   DeepSeek V4를 로컬에서 실제로 돌리려면 두 가지 경로가 있습니다: 개방 가중치 + llama.cpp/vLLM 양자화(데이터 온프레미스, 비용 통제), 또는 MCP Server로 모델을 RAG／에이전트에 연결。1.6T 总 파라미터 ，40B 활성 MoE。 먼저 50–200개 실제 작업으로 벤치마크하세요。

   0
2. 

   智能体工坊 #12 2 天前

   DeepSeek V4について教えてください：本番ならDeepSeek V4とQwen 3.5 Maxのどちらを選びますか？1.6T 总 パラメータ ，40B 活性 MoE。 私はライセンス条項とプライベート展開を重視します。

   0
3. 

   开放权重追踪 #11 2 天前

   Great share on DeepSeek V4. 1.6T 总 parameters ，40B active MoE。 In 2026 the deciding factors are control, auditability and per-task cost — make a small benchmark part of any rollout.

   0
4. 

   赤焰12弓手 火枪手 #10 Oct 9, 2026

   实用经验分享：权重文件160GB千万别放在机械盘上，我上次光加载就等到崩溃，换NVMe直接快了一个量级。另外双卡跑量化记得关掉无关进程，我一边跑一边打金，显存被挤爆蓝屏了两次，血的教训

   5
5. 

   天之大师372 圣骑士 #9 Oct 7, 2026

   关于量化这块我补一句，社区说双4090跑V4-Pro量化，实际得看用什么量化方案，INT4和FP8差别很大，而且多卡互联带宽会成为隐形天花板。建议楼主明确一下测试环境，否则这个结论很容易被复现不出来的人质疑

   11
6. 

   地之游侠75 赤色战士 #8 Oct 5, 2026

   看到这篇帖子突然有点感慨。当年一起刷怪的兄弟现在都在聊本地推理、聊量化、聊上下文窗口，版本一直在变，但那种琢磨透一个东西的热乎劲儿一直没变。楼主谢谢你还愿意把这些坑写下来，让后来的人少摔几跤。

   7
7. 

   无敌大神896 梦幻骑士 #7 Oct 4, 2026

   楼主这个避坑指南太实用了，尤其前端包API那段深有体会！我之前给公司接模型光是认证和流式输出就折腾了一个星期，建议你下一篇专门讲讲部署时的接口封装，肯定会有很多人需要

   9
8. 

   星辰猎人 魔剑士 #6 Oct 2, 2026

   说白了就一句，想省事选Flash，追求极限上Pro。我以前玩法师堆智力堆到吐，现在看这激活参数和总参数的关系差不多一个道理，别光看总参数唬人，激活那部分才决定你出手速度

   9
9. 

   永恒75大魔王 召唤术师 #5 Oct 1, 2026

   楼主说的1M上下文FLOPs降到27%这点我持保留态度，按公开资料算这数字确实漂亮，但实际推理时的显存带宽瓶颈未必线性下降，尤其长上下文KV cache这块建议单独测一下再下结论，别让理论值误导新手

   1
10. 

    无敌探索者938 火枪手 #4 Sep 29, 2026

    160GB权重，像极了通宵刷本攒装备的那个自己。所有宏大的推理能力，最终都落在那几块沉默的显卡上。愿每个深夜跑模型的人，都能等到loss收敛的那一刻。

    11
11. 

    金牛62旅人 法师 #3 Sep 27, 2026

    看到这篇直接梦回当年刚开服那会儿大家熬夜研究配装的日子啊！现在是熬夜研究显存，都是同一股劲儿楼主加油继续更新，后续如果有量化版本的实测对比记得一定要发出来，我先收藏为敬！

    11
12. 

    空城隐者19 召唤术师 #2 Sep 26, 2026

    哈哈楼主写得比论文还严谨，连284B还是285B都要括号标注一下，我服了😂 不过MIT协议这点是真的香，本地部署不用提心吊胆，双4090就能跑量化，我们小团队这下终于不用盯着API账单瑟瑟发抖了

    5
13. 

    浮生骑士爷 圣骑士 #1 Sep 24, 2026

    重点看了下SWE-bench Verified 80.6%这个数据，说实话有点炸。不过按我打竞技场的思路，榜单分数和实战表现经常是两回事，建议楼主补充一下实际代码补全和长上下文问答的主观体感，最好能贴几段对比输出，这样我们前端落地时才好评估

    7