L'exécution du modèle quantisé Q2-0 sur une carte graphique AMD Radeon RX 7900 XTX offre un compromis performant entre vitesse de génération et efficacité énergétique, bien que la consommation électrique reste élevée. Les mesures indiquent un débit de lecture solide de 1459,3 tokens par seconde, permettant une interaction fluide, tandis que la génération se stabilise autour de 75,5 tokens par seconde. Cette configuration est jugée bonne pour l'adaptation au matériel, utilisant la quasi-totalité des 24 Go de mémoire vidéo disponibles.
Analyse des performances mesurées
Pour comprendre ces résultats, il est essentiel de mesurer les performances directement sur votre machine. La vitesse de lecture, ou débit de tokens par seconde (tps) lors de la prévisualisation du prompt, atteint 1459,3 tps. Cela garantit une réactivité immédiate lors de la saisie. La vitesse d'écriture, ou génération, est de 75,5 tps. Bien que cette vitesse soit inférieure à celle des modèles quantisés plus gros, elle reste suffisante pour la plupart des tâches créatives et analytiques. La consommation électrique moyenne est de 475 Watts. Il est crucial de noter que cette puissance est élevée, ce qui impacte le coût d'exploitation.
Vérification sur votre propre matériel
Vous pouvez reproduire ces tests en utilisant le client Stratat. Lancez l'inférence et observez les métriques en temps réel. Assurez-vous que votre alimentation supporte une charge soutenue de 475 Watts. Vérifiez également la température de votre carte graphique pour éviter la throttling thermique. La mémoire vidéo de 24 Go est pleinement exploitée, ce qui est optimal pour ce type de modèle. La quantité de données traitées par seconde est un indicateur clé de la fluidité de l'expérience utilisateur.
Tableau des performances
| Métrique | Valeur mesurée | Interprétation |
|---|---|---|
| Vitesse de lecture | 1459,3 tps | Très réactif pour la saisie |
| Vitesse d'écriture | 75,5 tps | Génération fluide et cohérente |
| Consommation électrique | 475 Watts | Élevée, à considérer pour le coût |
La quantification est une technique de compression de modèle qui réduit la précision des poids pour diminuer la taille et accélérer l'inférence sans perte majeure de qualité. En somme, cette configuration est idéale pour les utilisateurs prioritaires sur la vitesse de lecture et la capacité mémoire, tout en étant conscients de l'empreinte énergétique.
La quantification est une technique de compression de modèle qui réduit la précision des poids pour diminuer la taille et accélérer l'inférence sans perte majeure de qualité.