Apple Silicon 跑本地大模型
Apple 机器单独排序,因为统一内存改变了问题本身:没有显存上限要卡,只有价格和带宽两个约束。
| # | 硬件 | 显存 | 阅读 tok/s | 整机功率 | 整机 | 本地成本 | 回本 |
|---|---|---|---|---|---|---|---|
| 1 | Mac Studio M5 Ultra 96 GB | 96 GB | 2,285 | 360 W | $5,499 | $0.097 | 987 天 |
| 2 | MacBook Pro M5 Max 128 GB | 128 GB | 1,310 | 120 W | $6,699 | $0.103 | 1,178 天 |
| 3 | Mac Studio M5 Ultra 256 GB | 256 GB | 2,856 | 360 W | $10,799 | $0.129 | 1,482 天 |
| 4 | Mac Studio M5 Max 64 GB | 64 GB | 518 | 180 W | $3,799 | $0.143 | 1,653 天 |
| 5 | MacBook Pro M5 Max 64 GB | 64 GB | 518 | 120 W | $5,099 | $0.169 | 2,028 天 |
| 6 | Mac Studio M5 Max 128 GB | 128 GB | 518 | 180 W | $5,399 | $0.188 | 2,349 天 |
| 7 | Mac mini M5 Pro 64 GB | 64 GB | 259 | 110 W | $2,899 | $0.207 | 2,691 天 |
| 8 | Mac Studio M4 Max 128 GB | 128 GB | 447 | 145 W | $6,500 | $0.241 | 3,111 天 |
| 9 | Mac Studio M3 Ultra 512 GB | 512 GB | 480 | 330 W | $9,499 | $0.548 | 15,577 天 |
这些榜单没有覆盖什么
- 统一内存与系统和所有前台应用共享,可用上限低于标称容量。真正的瓶颈通常是带宽而非容量。
- 所有数字都是单一负载下的单流实测。多人并发服务、微调和服务器型号的表现不同。