Mac 跑 DeepSeek
Mac 的獨特優勢是統一記憶體:顯示與運算共用同一塊大記憶體,所以能跑 PC 跑不動的大模型。
統一記憶體是什麼
PC 上 GPU 有獨立顯存(24 GB 就是 24 GB),模型放不進去就要卸載到系統記憶體,速度暴跌。 Mac 的 CPU 與 GPU 共用同一塊記憶體,128 GB 的機器理論上能讓 GPU 直接使用整塊記憶體。
| 機型 | 統一記憶體 | 頻寬 | Q4 能跑 |
|---|---|---|---|
| MacBook Air M3 16G | 16 GB | 100 GB/s | 7B-14B |
| MacBook Pro M3 Pro 36G | 36 GB | 150 GB/s | 32B |
| Mac Studio M3 Max 128G | 128 GB | 400 GB/s | 70B Q4 |
| Mac Studio M3 Ultra 512G | 512 GB | 800 GB/s | 百B 級別 |
速度對比(7B Q4 生成)
| 硬體 | 速度 |
|---|---|
| RTX 4090(24G) | 60-100 tokens/秒 |
| Mac Studio M3 Ultra | 40-60 tokens/秒 |
| MacBook Pro M3 Pro | 15-25 tokens/秒 |
| MacBook Air M3 | 10-18 tokens/秒 |
與同價位 GPU 相比,Mac 速度較慢但能跑更大的模型。這是取捨不是優劣。
兩種運行方式
Ollama(最簡單)
brew install ollama ollama serve ollama run deepseek-r1:32b
自動偵測 Apple Silicon 並用 Metal 加速,適合絕大多數人。
MLX(Apple 原生框架)
pip install mlx-lm python -m mlx_lm.generate \ --model mlx-community/\ --prompt "你好"
Apple 自家框架,理論上更貼合硬體,但模型轉換生態不如 GGUF 完整。
Mac 的實際限制
- 散熱。MacBook Air 無風扇,長時間推理會降頻。Pro 與 Studio 較好。
- 顯存分配上限。macOS 預設限制 GPU 可用的記憶體比例,大模型要調整。
- 不能多使用者。設計上不是伺服器,多人併發會很慢。
- 記憶體不可升級。買的時候就決定了上限,選配置要一次到位。
誰適合用 Mac 跑
| 適合 | 不適合 |
|---|---|
| 已有 Mac,想順便跑本地模型 | 需要服務多人 |
| 要跑 70B 以上且預算有限 | 追求極致速度 |
| 單人開發、測試、離線使用 | 需要長時間滿載運行 |