2000ドル以下でローカル LLM を動かす
カード単体ではなくマシン総額で 2000 ドル以下。学生の予算に収まり、それでも 125B クラスを動かせるマシンです。
| # | ハードウェア | メモリ | 読み込み tok/s | 電力 | リグ | ローカル $/M | 回収 |
|---|---|---|---|---|---|---|---|
| 1 | AMD Radeon RX 6900 XT 16GB | 16 GB | 466 | 450 W | $1,669 | $0.118 | 994 日 |
| 2 | 2x RTX 3060 12 GB | 24 GB | 1,240 | 490 W | $1,814 | $0.101 | 738 日 |
| 3 | AMD Radeon RX 7900 XTX | 24 GB | 1,459 | 475 W | $2,000 | $0.063 | 390 日 |
| 4 | AMD Radeon RX 9070 XT 16GB | 16 GB | 1,652 | 454 W | $2,000 | $0.076 | 514 日 |
これらのリストが扱わないこと
- 価格は計測時点の実売価格です。中古カードやセールはこの表より速く動くため、購入前に価格を確認してください。
- 数値はすべて単一ワークロードのシングルストリーム実測です。マルチユーザー配信、ファインチューニング、サーバー向け製品は挙動が異なります。