L'exécution du modèle avec la quantisation iq3-xxs sur une carte graphique AMD Radeon RX 7900 XTX offre un compromis solide entre la vitesse de génération et la gestion de la mémoire. Les mesures confirment une lecture efficace à environ 1459 tokens par seconde, bien que l'écriture reste limitée à 75,5 tokens par seconde. Cette configuration permet d'utiliser les 24 Go de VRAM sans saturation, garantissant une stabilité pour des contextes étendus.

Pour comprendre ces performances, il faut analyser comment le moteur Strata gère les calculs sur le matériel dédié. La carte affiche une consommation électrique de 475 watts lors du traitement, ce qui est un facteur à considérer pour le coût opérationnel. L'évaluation indique que l'ajustement est bon, signifiant que la carte n'est ni surchargée ni sous-utilisée de manière inefficace.

Vérification sur votre machine

Vous pouvez reproduire ces résultats en lançant l'application Stratat et en surveillant les indicateurs de performance. Le tableau ci-dessous résume les données recueillies lors des tests.

MétriqueValeur MesuréeUnité
Vitesse de lecture1459,3tokens/seconde
Vitesse d'écriture75,5tokens/seconde
Consommation électrique475watts

Impact sur le budget énergétique

Le calcul du coût électrique utilise le tarif moyen français de 0,25 € par kilowattheure. Une consommation de 475 watts représente 0,475 kWh. Par heure d'utilisation intensive, cela génère un coût direct de 0,11875 € pour l'alimentation de la carte. Sur une journée de huit heures, cela revient à près de 0,95 € par jour. Bien que ce soit un coût fixe, il s'ajoute à l'usure du matériel. La quantisation iq3-xxs optimise l'utilisation de la mémoire tout en maintenant un débit de sortie lisible, ce qui est crucial pour les workflows locaux.

La quantification est une méthode de compression qui réduit la précision des poids du modèle pour diminuer la taille du fichier et accélérer les calculs, sans perdre excessivement en qualité de texte.