ローカル LLM を最も安く動かせるハードウェア
100万トークンあたりの実測コスト順。電力費と 5 年分のハードウェア費用を含みます。最も安く動かせるマシンが、最も安く買えるマシンとは限りません。
| # | ハードウェア | メモリ | 読み込み tok/s | 電力 | リグ | ローカル $/M | 回収 |
|---|---|---|---|---|---|---|---|
| 1 | RTX 4090 | 24 GB | 4,000 | 550 W | $4,199 | $0.056 | 434 日 |
| 2 | RTX 5080 | 16 GB | 3,713 | 510 W | $2,800 | $0.058 | 393 日 |
| 3 | RTX 5070 Ti | 16 GB | 2,499 | 450 W | $2,380 | $0.060 | 403 日 |
| 4 | RTX 3090 | 24 GB | 2,094 | 500 W | $2,700 | $0.060 | 410 日 |
| 5 | RTX 4070 Ti SUPER 16GB | 16 GB | 1,700 | 435 W | $2,140 | $0.061 | 399 日 |
| 6 | RTX 5090 | 32 GB | 5,803 | 700 W | $8,500 | $0.062 | 558 日 |
これらのリストが扱わないこと
- 「トークンあたり最安」はほぼ終日稼働を前提にしています。1日数時間の利用なら、スループットが低く安いマシンのほうが総額で有利な場合があります。
- 数値はすべて単一ワークロードのシングルストリーム実測です。マルチユーザー配信、ファインチューニング、サーバー向け製品は挙動が異なります。