顯存計算器

估算跑一個模型需要多少顯存。公式公開，你可以自己驗算。

模型參數量（B，指十億）

量化精度

上下文長度（tokens）

併發數

KV cache 精度

計算公式

模型權重 ≈ 參數量(B) × 量化位元組/參數
KV cache ≈ 上下文長度 × 層數 × 隱藏維度 × 2 × KV精度 × 併發
執行開銷 ≈ 權重的 15%
安全餘量 ≈ 總量的 10%

KV cache 用「層數 × 隱藏維度」估算，這裡以每 B 參數對應約 0.06 GB/K token 的經驗值替代（不同架構有差異）。

格式	每參數位元	32B 模型權重	品質變化
FP16	16	64 GB	原始精度
Q8_0	8.5	34 GB	幾乎無感
Q6_K	6.6	26 GB	差異很小
Q5_K_M	5.5	22 GB	可接受
Q4_K_M	4.5	18 GB	明顯但可用（推薦起點）

關鍵：長上下文是顯存殺手。 從 8K 上下文開到 128K，KV cache 會膨脹 16 倍。一個 32B Q4 模型在 8K 時只要 20 GB，到 128K 可能超過 40 GB 而跑不動。