O hardware mais barato para rodar um LLM local
Ordenado pelo custo medido por milhão de tokens, que já inclui energia e hardware diluído em cinco anos. A mais barata de operar nem sempre é a mais barata de comprar.
| # | Hardware | Memória | Leitura tok/s | Potência | Conjunto | Local $/M | Retorno |
|---|---|---|---|---|---|---|---|
| 1 | RTX 4090 | 24 GB | 4.000 | 550 W | $4.199 | $0.056 | 434 d |
| 2 | RTX 5080 | 16 GB | 3.713 | 510 W | $2.800 | $0.058 | 393 d |
| 3 | RTX 5070 Ti | 16 GB | 2.499 | 450 W | $2.380 | $0.060 | 403 d |
| 4 | RTX 3090 | 24 GB | 2.094 | 500 W | $2.700 | $0.060 | 410 d |
| 5 | RTX 4070 Ti SUPER 16GB | 16 GB | 1.700 | 435 W | $2.140 | $0.061 | 399 d |
| 6 | RTX 5090 | 32 GB | 5.803 | 700 W | $8.500 | $0.062 | 558 d |
O que estas listas não cobrem
- “Mais barato por token” pressupõe operação quase contínua. Com poucas horas por dia, uma máquina mais barata e mais lenta pode custar menos no total.
- Todos os números são medições de fluxo único em uma carga. Atendimento multiusuário, fine-tuning e hardware de servidor se comportam de forma diferente.