Günstigste Hardware für lokale LLMs
Sortiert nach gemessenen Kosten pro Million Token, inklusive Strom und auf fünf Jahre verteilter Hardware. Am günstigsten zu betreiben ist nicht dasselbe wie am günstigsten zu kaufen.
| # | Hardware | Speicher | Lesen tok/s | Leistung | Rechner | Lokal $/M | Amortisation |
|---|---|---|---|---|---|---|---|
| 1 | RTX 4090 | 24 GB | 4.000 | 550 W | $4.199 | $0.056 | 434 T |
| 2 | RTX 5080 | 16 GB | 3.713 | 510 W | $2.800 | $0.058 | 393 T |
| 3 | RTX 5070 Ti | 16 GB | 2.499 | 450 W | $2.380 | $0.060 | 403 T |
| 4 | RTX 3090 | 24 GB | 2.094 | 500 W | $2.700 | $0.060 | 410 T |
| 5 | RTX 4070 Ti SUPER 16GB | 16 GB | 1.700 | 435 W | $2.140 | $0.061 | 399 T |
| 6 | RTX 5090 | 32 GB | 5.803 | 700 W | $8.500 | $0.062 | 558 T |
Was diese Listen nicht abdecken
- „Günstigste pro Token“ setzt nahezu Dauerbetrieb voraus. Bei wenigen Stunden täglich kann ein billigerer Rechner mit geringerem Durchsatz insgesamt günstiger sein.
- Alle Werte sind Einzelstrom-Messungen unter einer Last. Mehrbenutzerbetrieb, Fine-Tuning und Server-Hardware verhalten sich anders.