L'exécution d'un modèle avec la quantisation iq3-xxs sur une **RTX 5090** s'avère particulièrement adaptée, offrant un équilibre optimal entre capacité de charge et vitesse de génération. Cette configuration permet de faire tenir le modèle dans les 32 Go de VRAM tout en maintenant des performances de lecture très élevées.

Analyse de la capacité et de la vitesse

La quantification iq3-xxs réduit drastiquement la taille des poids du modèle, ce qui permet de l'intégrer entièrement dans la mémoire vidéo de la carte graphique sans recourir au swap vers la RAM système. Cela élimine les goulots d'étranglement liés à la bande passante mémoire plus lente. Avec une vitesse de lecture de 5803 tokens par seconde, le moteur Strata peut pré-charger et traiter les données d'entrée quasi instantanément. Cela garantit que la GPU reste alimentée en données et ne subit pas d'attente inutile pendant la phase d'inférence.

Gestion de la puissance et des coûts

Bien que la carte soit puissante, la charge réelle dépend de la complexité du calcul. Ici, la consommation se stabilise autour de 700 Watts. Pour évaluer l'impact financier, il convient de multiplier cette consommation par le prix local de l'électricité, soit 0,25 €/kWh. Cela donne un coût horaire d'environ 0,175 € par heure d'utilisation intensive. C'est un facteur à considérer pour les sessions prolongées, mais acceptable au regard des performances obtenues.

Vérification sur votre machine

Pour confirmer ces résultats, lancez le client Stratat et surveillez l'utilisation de la VRAM via les outils système. Vérifiez que le modèle charge sans erreur de mémoire. Observez la vitesse de génération à l'écran pour confirmer qu'elle reste stable autour des 168 tokens par seconde en écriture.

ParamètreValeur MesuréeImpact pour l'utilisateur
VRAM32 GoCharge totale en mémoire, pas de swap.
Lecture5803 TPSChargement ultra-rapide des prompts.
Écriture168.4 TPSVitesse de réponse fluide et continue.

La quantisation iq3-xxs est une méthode de compression qui réduit la précision des nombres pour économiser de la mémoire tout en préservant la qualité du texte généré.