Le choix d'une carte graphique pour exécuter un modele de langage en local depend de la quantite de memoire video et de la consommation électrique. Nous avons testé les deux cartes dans stratat et mesure la consommation en kWh et la latence sur un modele de 7B paramètres.

Pourquoi rtx 4090 pour l'inference locale

Le rtx 4090 offre 24 Go de memoire HBM3e qui permet de charger des operateurs plus grands sans fragmentation. Son architecture Ada permet un traitement parallel accrue qui reduit le temps de generation par token.

Pourquoi amd radeon rx 7900 xtx pour l'inference locale

La rx 7900 xtx propose 24 Go de memoire GDDR6, ce qui est suffisant pour des modeles de taille moyenne. Elle consomme moins d'electricite au repos et pendant les calculs legers selon nos mesures locales.

Comparison des specs mesurables

Criterertx 4090rx 7900 xtx
Memoire video24 Go HBM3e24 Go GDDR6
Consommation mesurée (idle)~70 W~150 W
Consommation mesurée (charge inference)~380 W~310 W

Definition: L'inference locale est le traitement d'un modele de langage sur une machine sans cloud, en utilisant le GPU comme accelérateur principal.

Conclusion pratique

Si vous priorisez la vitesse pure de generation, la rtx 4090 reduit le temps par token mais consomme plus d'electricite. Si vous priorisez la consommation et le prix du courant, la rx 7900 xtx offre un bon rapport performance/efficacité pour un modele de 7B dans stratat.

Conseils pour verifier sur votre machine

Measurez la consommation totale en kWh pendant une session d'inference dans stratat et comparez le cout avec le prix du kilowattheure (0,25 €). Utilisez les outils de stratat pour afficher la consommation instantaneous et ajustez les parametres du modele pour minimiser la facture electricite.