Sur la machine locale, le test de débit avec le moteur Strata montre que la lecture atteint 1459.3 lectures par seconde et l'écriture 75.5 lectures par seconde. La carte AMD Radeon RX 7900 XTX alimente ce test sous 475 W de puissance. Le profil iq2-xs est conçu pour comprimer l'inférence sans perte notable, et Strata l'expose comme option par défaut.

Pourquoi iq2-xs sur cette carte

Le choix du quantifiant iq2-xs est motivé par l'équilibre entre précision et empreinte mémoire. La carte dispose de 24 GB de VRAM, suffisants pour des modèles locaux de taille modérée. Les mesures montrent que la lecture reste au-dessus de 1400 tps, ce qui est très confortable pour un usage de l'IA générative en local sur un écran de bureau.

Comment le test a été réalisé

On charge un modèle compatible iq2-xs dans les ressources de la RX 7900 XTX, puis on mesure les performances en lecture et en écriture avec Strata en utilisant la bibliothèque de quantifications. Le test est effectué dans un environnement sans accélération cloud, afin de vérifier que le débogage est reproductible sur une machine locale. Le résultat est enregistré via les métriques de latence et de débit fournies par le moteur.

MétriqueValeur
VRAM utilisée24 GB
Lecture tps1459.3
Écriture tps75.5

Le test définit le terme "quantification iq2-xs" comme une représentation réduite des poids d'un modèle, préservant la quasi-intégrité du texte tout en diminuant la mémoire requise. Cette méthode permet d'exécuter des modèles plus volumineux sur une seule carte graphique ampière.

Mesures de puissance et de coût

Le test montre une consommation de 475 W pour l'ensemble du système, mesurée côté carte et alimentation. En France, avec un tarif de 0,25 €/kWh, un quart d'heure de calcul consomme moins d'un centime. Ce coût marginal rend l'inférence locale accessible et peu coûteuse face aux solutions cloud.

Conclusion

Le profil iq2-xs sur RX 7900 XTX offre un bon compromis lecture/écriture pour l'inférence locale avec Strata, et la carte respecte les budgets énergétiques d'un usage professionnel. La combinaison de la quantisation et de l'optimisation du moteur Strata rend l'IA locale pratique et performante.