El hardware más barato para ejecutar un LLM local
Ordenado por coste medido por millón de tokens, que ya incluye electricidad y hardware repartido en cinco años. La más barata de ejecutar no siempre es la más barata de comprar.
| # | Hardware | Memoria | Lectura tok/s | Potencia | Equipo | Local $/M | Recuperación |
|---|---|---|---|---|---|---|---|
| 1 | RTX 4090 | 24 GB | 4000 | 550 W | $4199 | $0.056 | 434 d |
| 2 | RTX 5080 | 16 GB | 3713 | 510 W | $2800 | $0.058 | 393 d |
| 3 | RTX 5070 Ti | 16 GB | 2499 | 450 W | $2380 | $0.060 | 403 d |
| 4 | RTX 3090 | 24 GB | 2094 | 500 W | $2700 | $0.060 | 410 d |
| 5 | RTX 4070 Ti SUPER 16GB | 16 GB | 1700 | 435 W | $2140 | $0.061 | 399 d |
| 6 | RTX 5090 | 32 GB | 5803 | 700 W | $8500 | $0.062 | 558 d |
Qué no cubren estas listas
- «Más barato por token» supone funcionamiento casi continuo. Con pocas horas al día, una máquina más barata y más lenta puede costar menos en total.
- Todas las cifras son mediciones de un solo flujo con una sola carga. El servicio multiusuario, el fine-tuning y el hardware de servidor se comportan distinto.