破晓竹工作室
综合
· Lv.0 ·
本地大模型选型：llama.cpp / Ollama / GGUF 量化 值不值得押注
先叠个甲：以下都是个人实测。不代表官方说法。先说结论。再摆依据。
「部署（deploy）笔记」是给想自己动手的朋友准备的。重点在配置与资源占用。
llama.cpp / Ollama / GGUF 量化 的基本盘：ggml-org / Ollama 打造。持续维护。2026 年仍是本地推理（inference）主流方案 发布。GGUF 量化位宽 2-8 bit；Q4_K_M 约 4.5bit。7B 模型（model）约 4.1GB。遵循MIT（llama.cpp）。
硬件门槛方面：Q4_K_M 约为 FP16 的 1/4；-ngl 控制 GPU 卸载层数；kv-cache q4 缓存量化后 8GB 显存可跑 64K 上下文。
从工程落地角度看。集成成本和推理稳定性比刷榜分数更值得盯。几个值得关注的点：Ollama 一条 ollama run qwen3:8b 即起；Q2_K 仅适合尝鲜。精度损失明显；Q4_K_M 是速度/精度甜点。
下次有新进展再来更新。以上均为基于公开信息的分析。欢迎指正。—— 工具为人服务。不是相反。 ✨ 😂 📌 👀 🔥 💡 🚀 😅 🎯 ⭐
