本地該跑哪個 DeepSeek
先接受一個現實：完整版 DeepSeek 在單機跑不動。本地能用的是蒸餾版與小參數版本。
為什麼完整版跑不動
DeepSeek 的主力模型是混合專家（MoE）架構，總參數量極大。即使只激活一部分參數，權重仍要全部載入記憶體。 以 FP16 計算，完整版需要數百 GB 記憶體 —— 不是消費級設備能承擔的。
所以本地部署的現實是：跑蒸餾版或較小參數的模型。
能力與完整版有差距，但對分類、抽取、翻譯、摘要這類任務已經夠用。
按規模看能力邊界
| 規模 | Q4 顯存 | 能做 | 不擅長 |
|---|---|---|---|
| 7B | 約 5 GB | 分類、抽取、簡單問答、格式轉換 | 複雜推理、長文理解 |
| 14B | 約 9 GB | 翻譯、摘要、中等難度問答 | 多步推理、代碼重構 |
| 32B | 約 20 GB | 代碼生成、較複雜分析、長文摘要 | 高難度數學、專業領域判斷 |
| 70B | 約 42 GB | 接近商用 API 的多數任務 | 仍需單機大記憶體 |
按任務選規模
| 任務 | 最低規模 | 說明 |
|---|---|---|
| 文本分類、打標 | 7B | 邏輯簡單，小模型足夠 |
| 資訊抽取（JSON） | 7B-14B | 需要一點格式遵循能力 |
| 翻譯 | 14B 以上 | 小模型語感不足，譯文生硬 |
| 長文摘要 | 14B-32B | 需要較好的理解與取捨能力 |
| 代碼生成與審查 | 32B 以上 | 小模型語法錯誤率高 |
| 多步推理 | 建議用 API | 本地大模型仍有明顯差距 |
選型流程
- 列出你要跑的任務類型
- 查上表得到最低規模
- 用 顯存計算器 算出該規模在目標量化下要多少顯存
- 比對手上的顯存，若不夠則往上加硬體或往下用更低量化（但注意品質損耗）
- 實際跑一批真實題目驗證準確率，達標才上線
兩個常見誤判
- 「越大越好」。32B 跑一個 7B 就能做的分類任務，浪費三倍資源且速度更慢。
- 「小模型加提示詞就能補」。提示詞能改善幾成，但補不上能力差距。硬任務該換更大的模型或直接用 API。