L'exécution du modèle iq2-xs sur une RTX 3090 offre une configuration équilibrée, validée par un taux de lecture de 2094 tokens par seconde et une consommation stable de 500 watts. Cette combinaison garantit une productivité élevée tout en restant dans les limites de la carte vidéo.
Analyse de la consommation énergétique
Lorsque vous lancez Stratat sur votre machine locale, il est crucial de comprendre l'impact énergétique de vos choix de quantification. Dans ce scénario spécifique, la carte graphique RTX 3090 fonctionne à son maximum de 500 watts. Pour évaluer le coût réel, vous devez multiplier cette puissance par le prix du kilowattheure. Avec un tarif de 0,25 € par kWh, vous consommez 0,125 € par heure d'utilisation. Cela semble élevé, mais il faut comparer cela à la vitesse de génération pour déterminer la rentabilité par token généré.
Performance et capacité de la mémoire
La mémoire vidéo (VRAM) de 24 Go est suffisante pour charger le modèle iq2-xs sans débordement. Le taux de lecture atteint 2094 tokens par seconde, ce qui est extrêmement rapide. Cependant, le taux d'écriture est de 86,5 tokens par seconde. Vous pouvez vérifier ces métriques dans l'interface de Stratat en observant les graphiques de performance en temps réel. La capacité de réponse est jugée comme "Good", ce qui signifie que l'expérience utilisateur reste fluide malgré le goulot d'étranglement à l'écriture.
Mesure sur votre propre matériel
Pour vérifier ces performances, lancez une série de prompts standard. Notez le temps nécessaire pour générer une réponse complète. Comparez ensuite la vitesse de lecture à votre propre débit de lecture pour évaluer si l'outil vous fait gagner du temps. La consommation de 500 watts signifie que votre alimentation doit être suffisante et que votre refroidissement doit être efficace pour maintenir ces performances constantes sur la durée.
| Métrique | Valeur mesurée | Impact utilisateur |
|---|---|---|
| Vitesse de lecture | 2094 tokens/seconde | Réponse quasi instantuelle |
| Vitesse d'écriture | 86.5 tokens/seconde | Génération fluide mais limitée |
| Consommation | 500 Watts | Coût élevé à l'usage |
La quantification iq2-xs est une méthode de réduction de la précision des poids du modèle pour économiser de la mémoire sans sacrifier excessivement la qualité du texte généré.
Conclusion pratique
Utiliser iq2-xs sur une RTX 3090 est une bonne décision si vous avez besoin de vitesse de lecture élevée. La VRAM de 24 Go est bien exploitée. La principale limitation est la vitesse d'écriture plus faible. Cela convient aux tâches de consultation ou d'analyse rapide. Pour la rédaction longue, la vitesse d'écriture peut être un facteur à considérer. Le coût énergétique est significatif, mais justifié par la rapidité de traitement des données. Stratat permet de visualiser ces métriques en direct pour ajuster vos attentes.