L'exécution du modèle en quantification Q2-0 sur une RTX 3090 offre une vitesse de lecture exceptionnelle de 2094 tokens par seconde, bien que l'écriture reste modérée à 86,5 tokens par seconde. Cette configuration nécessite une puissance électrique élevée de 500 watts, mais elle garantit un équilibre optimal entre performance brute et capacité mémoire pour les tâches intensives.
Analyse de la Vitesse et de la Latence
La vitesse de lecture de 2094 tokens par seconde (Tps) indique que la bande passante de la mémoire VRAM de 24 Go est exploitée avec une grande efficacité pour les opérations de lecture. Pour vérifier cette performance sur votre propre machine, vous pouvez utiliser le client Stratat et observer les métriques en temps réel lors du chargement du modèle. Une telle latence permet des interactions quasi instantanées, rendant l'expérience utilisateur fluide malgré la complexité du modèle sous-jacent. Il est crucial de noter que cette rapidité de lecture ne garantit pas une génération de texte tout aussi rapide, car l'écriture est limitée à 86,5 Tps.
Gestion de la Consommation Électrique
Avec une consommation de 500 watts, la RTX 3090 fonctionne à pleine capacité pour maintenir ces débits de données. Pour calculer le coût exact de cette session sur votre propre machine, multipliez la durée en heures par 500 watts, puis convertissez en kilowatts-heures (kWh). En utilisant le prix moyen français de 0,25 € par kWh, vous obtiendrez une estimation précise de votre facture. Cette charge électrique est le prix à payer pour obtenir un taux de « fit » qualifié de bon, assurant que le modèle s'exécute sans erreurs de mémoire.
Performance Mémoire et Équilibre
Les 24 Go de VRAM sont suffisants pour héberger cette quantification sans débordement, ce qui est classé comme une adéquation « Good ». Pour valider cela, surveillez l'utilisation de la mémoire via les outils de surveillance système de votre distribution Linux ou Windows. Si la VRAM dépasse cette limite, les performances chuteraient drastiquement vers le stockage disque, annulant les avantages de la vitesse de lecture.
| Métrique | Valeur Mesurée | Unité |
|---|---|---|
| Vitesse de lecture | 2094 | Tps |
| Vitesse d'écriture | 86,5 | Tps |
| Consommation électrique | 500 | Watts |
La quantification Q2-0 est une méthode de compression qui réduit la précision des poids du modèle pour gagner de la mémoire, ce qui permet d'exécuter des modèles plus grands sur des matériels limités.
Vérification sur votre propre matériel
Pour reproduire ces résultats, assurez-vous que votre carte graphique RTX 3090 est bien reconnue par le moteur Strata. Lancez une session de test et comparez les tokens par seconde affichés avec les valeurs mesurées. Si votre consommation électrique diffère, vérifiez les paramètres d'alimentation de votre carte dans le logiciel de contrôle du fabricant.