GGUF 量化怎麼選
量化是本地部署最關鍵的取捨：省顯存，但損品質。選錯格式會讓模型「跑得動但不好用」。
什麼是 GGUF
GGUF 是 llama.cpp 使用的模型檔案格式，把權重壓縮成不同精度。同一份模型可以有 Q4、Q5、Q8 等多個版本，檔案大小與顯存需求差別很大。
格式對照（以 32B 模型為例）
| 格式 | 位元 | 權重 | +8K上下文 | 品質 | 建議用途 |
|---|---|---|---|---|---|
| FP16 | 16 | 64 GB | ~70 GB | 原始 | 基準對照 |
| Q8_0 | 8.5 | 34 GB | ~40 GB | 幾乎無損 | 需要高保真 |
| Q6_K | 6.6 | 26 GB | ~32 GB | 差異很小 | 平衡首選 |
| Q5_K_M | 5.5 | 22 GB | ~28 GB | 可接受 | 顯存吃緊時 |
| Q4_K_M | 4.5 | 18 GB | ~24 GB | 明顯但可用 | 推薦起點 |
| Q3_K_M | 3.9 | 16 GB | ~22 GB | 明顯退化 | 不建議 |
| Q2_K | 2.6 | 10 GB | ~16 GB | 嚴重退化 | 不要用 |
K_M 是什麼意思
K 表示使用了 K-quant 演算法（分組量化 + 重要層保留更高精度），M 表示 medium 混合策略。相對於舊的 Q4_0，Q4_K_M 在同樣大小下品質明顯更好，所以現在幾乎都用 K 系列。
什麼任務可以用低量化
| 任務類型 | 可用量化 | 原因 |
|---|---|---|
| 文本分類、打標 | Q4_K_M 即可 | 判斷邏輯簡單，容錯高 |
| 資訊抽取、格式轉換 | Q4_K_M 到 Q5 | 輸出結構固定，錯誤容易發現 |
| 翻譯 | Q5_K_M 以上 | 低量化會丟失語感細節 |
| 代碼生成 | Q6_K 以上 | 語法錯誤率會明顯上升 |
| 複雜推理、數學 | Q8_0 或 FP16 | 推理鏈條長，誤差會累積放大 |
實測經驗：Q4_K_M 在分類、抽取這類任務上與 FP16 的差距通常小於 2%；
但在多步推理任務上，差距可能超過 10%，而且錯得很難察覺。
怎麼取得 GGUF
常見來源是 Hugging Face 上的社群轉換版本，搜尋「模型名 GGUF」即可。下載時注意：
- 確認原始模型的授權允許本地使用
- 檢查是否有官方的 imatrix 量化版本（品質更好）
- 看檔案是否分片（split），分片的要全部下載
相關
顯存計算器 · llama.cpp 部署步驟 · Ollama 部署步驟 · 本地部署總覽