2000 美元以内的本地大模型硬件
看的是整机价而不是单卡价。这些机器适合学生预算，同时仍然跑得动 125B 级模型。
| # | 硬件 | 显存 | 阅读 tok/s | 整机功率 | 整机 | 本地成本 | 回本 |
|---|---|---|---|---|---|---|---|
| 1 | AMD Radeon RX 6900 XT 16GB | 16 GB | 466 | 450 W | $1,669 | $0.118 | 994 天 |
| 2 | 2x RTX 3060 12 GB | 24 GB | 1,240 | 490 W | $1,814 | $0.101 | 738 天 |
| 3 | AMD Radeon RX 7900 XTX | 24 GB | 1,459 | 475 W | $2,000 | $0.063 | 390 天 |
| 4 | AMD Radeon RX 9070 XT 16GB | 16 GB | 1,652 | 454 W | $2,000 | $0.076 | 514 天 |
这些榜单没有覆盖什么
- 整机价是当时的市场成交价。二手卡和整机促销变化比这张表快，下单前请再核对价格。
- 所有数字都是单一负载下的单流实测。多人并发服务、微调和服务器型号的表现不同。