L'exécution du modèle avec la quantisation iq3-s sur une RTX 4070 Ti SUPER 16 Go offre une configuration équilibrée, validée par un score d'ajustement (fit) jugé bon. Cette combinaison permet de conserver une qualité de génération satisfaisante tout en respectant les limites de la mémoire vidéo, sans forcer le transfert vers la RAM système qui dégraderait les performances.

Pour comprendre comment se comporte votre carte graphique, il est essentiel de mesurer la vitesse à laquelle les données sont lues depuis la mémoire vidéo. Dans notre test, la vitesse de lecture atteint 1700 tokens par seconde, ce qui garantit une fluidité remarquable lors de l'interaction. En revanche, la vitesse d'écriture reste limitée à 72 tokens par seconde, un détail technique à prendre en compte pour les tâches très spécifiques.

Vérification de la charge électrique

La consommation électrique est un facteur critique pour le calcul du coût d'utilisation. Avec une puissance mesurée de 435 watts, la carte graphique demande beaucoup d'énergie lors du calcul intensif. Pour évaluer le coût réel, multipliez la puissance en kilowatts (0,435 kW) par la durée d'utilisation et par le prix du kWh, ici estimé à 0,25 €.

Tableau des performances mesurées

ParamètreValeur mesuréeImplication pratique
Vitesse de lecture1700 tokens/secRéponse rapide et fluide
Vitesse d'écriture72 tokens/secLimite pour certains scripts
Consommation435 WattsCoût énergétique élevé

L'ajustement global étant jugé bon, cette configuration reste viable pour une utilisation locale régulière si vous acceptez la consommation électrique associée.

La quantification iq3-s est une méthode de compression avancée qui réduit la précision des poids du modèle pour économiser de la mémoire tout en préservant l'intelligence du modèle.