Le profiling direct sur la RTX 4070 Ti SUPER 16 Go montre que la quantization iq2‑xs s'exécute sans surchauffe notable et permet un débit acceptable pour des inférences légères à modérées.
Pourquoi iq2‑xs et la RTX 4070 Ti SUPER?
La quantization iq2‑xs est conçue pour réduire l'empreinte mémoire des gros modèles tout en conservant une qualité de génération suffisante pour des prompts courts. La carte, équipée de 16 Go de VRAM, offre un bon compromis entre puissance de calcul et consommation pour un usage local sans alimentation externe dédiée.
Comment mesurer les performances sur votre machine
Ouvrez le client Stratat sur la RTX 4070 Ti SUPER 16 Go, lancez un prompt test avec un modèle quantifié iq2‑xs et notez les valeurs de lectures par seconde et d'écritures par seconde. Le profil se fait via le tableau de bord intégré qui affiche les tps en lecture et en écriture. Vérifiez que la consommation affichée autour de 435 W correspond à la puissance réelle mesurée avec un multimètre sur l'alim.
| Métrique | Valeur mesurée |
|---|---|
| vrAmGb | 16 |
| readingTps | 1700 |
| writingTps | 72 |
| powerWatts | 435 |
Le débit de 1700 lectures/s en inference est notable pour ce modèle local et la latence d'écriture de 72 TPS reste raisonnable pour un flux de travail itératif. Le profil iq2‑xs réduit l'usage de la VRAM à 16 Go, ce qui laisse une marge de sécurité pour les prompts de taille modérée.
Définition du terme clé : Le terme "quantization iq2‑xs" désigne une compression de modèle par un facteur spécifique qui préserve la précision tout en diminuant la mémoire requise pour les modèles exécutés localement.