跑本地大模型最省钱的硬件
按实测每百万 token 成本排序，该成本已包含电费与五年硬件分摊。跑起来最省的，不一定是买起来最便宜的。
| # | 硬件 | 显存 | 阅读 tok/s | 整机功率 | 整机 | 本地成本 | 回本 |
|---|---|---|---|---|---|---|---|
| 1 | RTX 4090 | 24 GB | 4,000 | 550 W | $4,199 | $0.056 | 434 天 |
| 2 | RTX 5080 | 16 GB | 3,713 | 510 W | $2,800 | $0.058 | 393 天 |
| 3 | RTX 5070 Ti | 16 GB | 2,499 | 450 W | $2,380 | $0.060 | 403 天 |
| 4 | RTX 3090 | 24 GB | 2,094 | 500 W | $2,700 | $0.060 | 410 天 |
| 5 | RTX 4070 Ti SUPER 16GB | 16 GB | 1,700 | 435 W | $2,140 | $0.061 | 399 天 |
| 6 | RTX 5090 | 32 GB | 5,803 | 700 W | $8,500 | $0.062 | 558 天 |
这些榜单没有覆盖什么
- “每 token 最省”假设机器接近全天运行。若每天只跑几个小时，吞吐更差但更便宜的机器在总花费上可能更划算。
- 所有数字都是单一负载下的单流实测。多人并发服务、微调和服务器型号的表现不同。