本地部署的硬體選擇
選硬體只有一個原則：先看顯存，再看其他。算力決定快不快，顯存決定能不能跑。
為什麼顯存優先
模型權重要全部載入顯存（或部分卸載到記憶體）。顯存不夠就是跑不起來，再多算力也沒用。同樣 24 GB 顯存的舊卡，能跑的模型跟新卡一樣大，只是慢一些。
實務順序：先確認要跑的模型在目標量化下需要多少顯存（用 顯存計算器），再買能滿足這個數字的最便宜卡。
常見選擇
| 硬體 | 顯存 | Q4 能跑 | 適合 |
|---|---|---|---|
| RTX 4060 Ti 16G | 16 GB | 7B-14B 舒適 | 入門試用、小任務 |
| RTX 4090 | 24 GB | 32B 舒適 | 主流選擇，性價比最高 |
| RTX 5090 | 32 GB | 32B Q6 / 70B Q4 勉強 | 需要更大模型 |
| A6000 / L40S | 48 GB | 70B Q4 | 專業用途、長時間運行 |
| Mac Studio M3 Ultra | 96-512 GB | 可跑大模型 | 需要大記憶體、不介意速度 |
Mac 的統一記憶體是特殊選項
Apple Silicon 的記憶體由 CPU 與 GPU 共用，所以 128 GB 的 Mac 理論上能跑 100B 級別的模型，這是同價位 PC 做不到的。
代價是記憶體頻寬較低，推理速度慢於同級 GPU。適合「能跑就好、不追求速度」的場景。
二手卡的風險
- 礦卡。長期滿載運行，壽命不可預期。買前問清用途，看風扇與散熱片磨損。
- 保修。個人送保通常比商家保固可靠，但手續麻煩。
- 價格誘惑。二手 3090（24 GB）價格接近新卡一半，但功耗高、無保固，需自行評估。
常被忽略的配套
| 項目 | 為什麼重要 |
|---|---|
| 電源 | 4090 滿載功耗可達 450W，加上 CPU 與其他，建議 850W 以上金牌 |
| 散熱 | 長時間推理會持續滿載，機殼風道比單卡散熱更重要 |
| 主機板 PCIe 通道 | 多卡時通道分配會影響速度 |
| 記憶體 | CPU 卸載推理時，系統記憶體也要夠（建議 64 GB 以上） |
三個預算區間的建議
- 一萬以內：先別買。用 API 或雲端 GPU 試，確認真的需要自建再投入。
- 一萬五到兩萬五：RTX 4090 24G 是性價比最高的選擇，能跑 32B Q4，覆蓋多數分類、抽取、翻譯任務。
- 四萬以上：考慮 A6000 48G 或雙卡，能跑 70B。但這個價位應該先算損益平衡 —— 很可能 API 還是更划算。