Mac 跑 DeepSeek

Mac 的獨特優勢是統一記憶體:顯示與運算共用同一塊大記憶體,所以能跑 PC 跑不動的大模型。

統一記憶體是什麼

PC 上 GPU 有獨立顯存(24 GB 就是 24 GB),模型放不進去就要卸載到系統記憶體,速度暴跌。 Mac 的 CPU 與 GPU 共用同一塊記憶體,128 GB 的機器理論上能讓 GPU 直接使用整塊記憶體。

機型統一記憶體頻寬Q4 能跑
MacBook Air M3 16G16 GB100 GB/s7B-14B
MacBook Pro M3 Pro 36G36 GB150 GB/s32B
Mac Studio M3 Max 128G128 GB400 GB/s70B Q4
Mac Studio M3 Ultra 512G512 GB800 GB/s百B 級別

速度對比(7B Q4 生成)

硬體速度
RTX 4090(24G)60-100 tokens/秒
Mac Studio M3 Ultra40-60 tokens/秒
MacBook Pro M3 Pro15-25 tokens/秒
MacBook Air M310-18 tokens/秒

與同價位 GPU 相比,Mac 速度較慢但能跑更大的模型。這是取捨不是優劣。

兩種運行方式

Ollama(最簡單)

brew install ollama
ollama serve
ollama run deepseek-r1:32b

自動偵測 Apple Silicon 並用 Metal 加速,適合絕大多數人。

MLX(Apple 原生框架)

pip install mlx-lm
python -m mlx_lm.generate \
  --model mlx-community/ \
  --prompt "你好"

Apple 自家框架,理論上更貼合硬體,但模型轉換生態不如 GGUF 完整。

Mac 的實際限制

誰適合用 Mac 跑

適合不適合
已有 Mac,想順便跑本地模型需要服務多人
要跑 70B 以上且預算有限追求極致速度
單人開發、測試、離線使用需要長時間滿載運行

相關

Ollama 部署 · 硬體選擇 · 顯存計算器 · 本地部署總覽