Matériel le moins coûteux pour un LLM local
Classement par coût mesuré par million de tokens, électricité et amortissement sur cinq ans inclus. La moins chère à l'usage n'est pas toujours la moins chère à l'achat.
| # | Matériel | Mémoire | Lecture tok/s | Puissance | Machine | Local $/M | Rentabilité |
|---|---|---|---|---|---|---|---|
| 1 | RTX 4090 | 24 GB | 4 000 | 550 W | $4 199 | $0.056 | 434 j |
| 2 | RTX 5080 | 16 GB | 3 713 | 510 W | $2 800 | $0.058 | 393 j |
| 3 | RTX 5070 Ti | 16 GB | 2 499 | 450 W | $2 380 | $0.060 | 403 j |
| 4 | RTX 3090 | 24 GB | 2 094 | 500 W | $2 700 | $0.060 | 410 j |
| 5 | RTX 4070 Ti SUPER 16GB | 16 GB | 1 700 | 435 W | $2 140 | $0.061 | 399 j |
| 6 | RTX 5090 | 32 GB | 5 803 | 700 W | $8 500 | $0.062 | 558 j |
Ce que ces listes ne couvrent pas
- « Moins cher au token » suppose un fonctionnement quasi continu. Pour quelques heures par jour, une machine moins chère et plus lente peut coûter moins au total.
- Toutes les valeurs sont des mesures mono-flux sur une seule charge. Le service multi-utilisateurs, le fine-tuning et le matériel serveur se comportent autrement.