量化對品質的影響
網路上的說法從「Q4 幾乎無損」到「Q4 完全不能用」都有。真相是：取決於任務類型。
不同任務的敏感度
| 任務類型 | Q4 相對 FP16 | 原因 |
|---|---|---|
| 文本分類、打標 | 差距通常 < 2% | 判斷邏輯簡單，容錯高 |
| 資訊抽取 | 差距約 2-5% | 輸出結構固定，錯誤容易發現 |
| 翻譯 | 差距約 5-8% | 低量化會丟失語感與細微語氣 |
| 代碼生成 | 差距約 8-15% | 語法與 API 名稱容易錯 |
| 多步推理、數學 | 差距 > 15% | 誤差逐步累積放大 |
關鍵差異：分類錯了你看得出來，推理錯了往往看不出來 ——
它會給出一個過程合理但結論錯誤的答案。這是低量化在推理任務上最危險的地方。
為什麼推理任務對量化特別敏感
多步推理每一部的輸出都是下一步的輸入。單步誤差 1%，經過 10 步可能放大到 10%。 分類任務只有一步，誤差不會累積。
怎麼自己測（可執行方法）
步驟一：準備題目集
- 從你的真實業務資料抽 30-50 條，不要用網路上找的題目
- 覆蓋簡單、中等、困難三檔（大約 5:3:2）
- 每條都要有你能判斷對錯的標準答案
步驟二：跑兩組
# 同一組題目，同一組參數，只換模型檔案 # A 組：Q4_K_M # B 組：Q8_0（或 FP16，看你顯存夠不夠） # 關鍵：temperature 設 0，避免隨機性干擾比較 "temperature": 0
步驟三：評分
| 指標 | 怎麼算 |
|---|---|
| 準確率 | 答對數 ÷ 總題數 |
| 格式正確率 | 輸出能被解析的比例（抽取類特別重要） |
| 平均耗時 | Q4 通常快 1.5-3 倍，這也是價值 |
步驟四：看差距是否在可接受範圍
如果 Q4 準確率只低 2% 但速度快兩倍、顯存省一半，通常值得。如果低 15%，就該升到 Q6 或 Q8。
實務建議
- 起點用 Q4_K_M。它是大多數情況的最佳平衡點，先跑起來再決定要不要升。
- 推理任務直接用 Q6 以上。省下來的顯存不值得換來錯誤答案。
- 不要用 Q2/Q3。退化太明顯，除了極端顯存限制沒有理由。
- 注意「假便宜」。低量化可能讓你為了達到同樣效果多跑幾次，總成本反而更高。
相關
GGUF 量化怎麼選 · 顯存計算器 · 服務商量化精度對照 · 本地部署總覽