純 CPU 能跑 DeepSeek 嗎
能跑，但慢到多數人無法接受。先看清楚數字再決定。
速度的真實差距
| 硬體 | 7B Q4 生成速度 | 32B Q4 生成速度 |
|---|---|---|
| RTX 4090 | 約 60-100 tokens/秒 | 約 15-25 tokens/秒 |
| RTX 4060 Ti 16G | 約 30-50 tokens/秒 | 約 6-10 tokens/秒 |
| Ryzen 9 / i9（DDR5） | 約 5-12 tokens/秒 | 約 1-3 tokens/秒 |
| 舊 CPU（DDR4） | 約 2-5 tokens/秒 | 幾乎不可用 |
實際體驗差異：GPU 上一個 500 字的回答約 10 秒，CPU 上可能要 1-2 分鐘。
為什麼 CPU 慢：記憶體頻寬是瓶頸
大模型推理每生成一個 token，都要把整個模型權重讀一遍。所以速度主要取決於記憶體頻寬，不是 CPU 算力。
| 記憶體 | 頻寬 | 相對速度 |
|---|---|---|
| DDR4-3200 雙通道 | 約 51 GB/s | 1x |
| DDR5-6000 雙通道 | 約 96 GB/s | 約 1.9x |
| RTX 4090 GDDR6X | 約 1008 GB/s | 約 20x |
| Mac M3 Ultra 統一記憶體 | 約 800 GB/s | 約 16x |
這解釋了為什麼堆 CPU 核心數沒用 —— 瓶頸在記憶體，不在運算單元。
CPU 推理反而適合的場景
- 離線環境。沒有 GPU 的工控機、船舶、野外設備。
- 極低頻使用。一天只跑幾次，等兩分鐘無所謂。
- 隱私要求極高。資料不能離開本機，且量很小。
- 驗證與測試。開發階段先用 CPU 跑通流程，再上 GPU。
如果只能 CPU，怎麼配置
- 選小模型。7B-14B 是現實上限，32B 以上不要想。
- 用 Q4_K_M。更低量化雖然更快但品質退化明顯。
- 記憶體要夠。至少等於模型檔案大小的 1.5 倍。
- 用 llama.cpp。它的 CPU 優化最好，支援 AVX2/AVX512。
- 開多執行緒。
-t設為實體核心數，不是超執行緒數。
./llama-cli -m model-Q4_K_M.gguf \ -t 8 \ # 實體核心數 -c 4096 \ # 上下文別設太大 -p "你的問題"
結論
如果你的目標是「用得下去」，CPU 不夠。
真正需要 CPU 推理的場景很窄：離線、極低頻、或純驗證。
其餘情況，用 API 或租雲端 GPU 都比自己搭 CPU 伺服器合理。