L'exécution du modèle avec la quantification iq3-s sur une carte graphique RTX 5070 Ti offre une expérience notablement stable et performante, confirmant une adéquation excellente entre les ressources matérielles disponibles et les exigences logicielles. Cette configuration permet de maintenir un débit de lecture élevé tout en gérant efficacement la génération de texte, ce qui rend cette combinaison particulièrement attractive pour les utilisateurs locaux soucieux de l'équilibre entre vitesse et précision.
Analyse des performances et de la consommation
Pour comprendre la viabilité de cette configuration, il est essentiel d'examiner les métriques mesurées directement sur votre machine. La capacité de la carte graphique, dotée de 16 Go de VRAM, s'avère suffisante pour charger le modèle sans nécessiter de déchargement vers la RAM système, ce qui préserve la latence globale. La vitesse de lecture atteint 2498,5 tokens par seconde, indiquant que le prétraitement et le chargement des données se font très rapidement. En revanche, la vitesse d'écriture est de 71,1 tokens par seconde, ce qui représente le rythme réel de génération de texte. Cette différence est normale pour ce type de quantification.
La consommation électrique est un point crucial à surveiller. Avec une puissance relevée de 450 Watts, la carte graphique fonctionne à son maximum lors des calculs intensifs. Pour estimer le coût de cette utilisation, vous pouvez multiplier la puissance en kilowatts par le prix du kWh. À 0,25 € par kWh, une heure de pleine charge vous coûtera environ 0,11 €. Bien que cela semble modique par heure, une utilisation prolongée peut rapidement alourdir la facture électrique. Il est donc recommandé de vérifier vos paramètres de sauvegarde d'énergie si vous n'utilisez la machine que ponctuellement.
Vérification sur votre propre matériel
Pour valider ces chiffres sur votre propre RTX 5070 Ti, vous devez lancer le moteur Strata et observer les métriques en temps réel. Assurez-vous que le modèle iq3-s est correctement chargé et surveillez l'utilisation de la VRAM. Si la VRAM dépasse 16 Go, le système commencera à utiliser la RAM système, ce qui ralentira considérablement la génération. Vous pouvez également mesurer la consommation avec un outil de monitoring pour confirmer les 450 Watts. Cette méthode vous permet de confirmer que l'installation est optimale avant de lancer des tâches longues.
Tableau des mesures
| Métrique | Valeur mesurée | Unité | Observation |
|---|---|---|---|
| VRAM disponible | 16 | Go | Charge complète sans débordement |
| Vitesse de lecture | 2498,5 | tokens/s | Préchargement très rapide |
| Vitesse d'écriture | 71,1 | tokens/s | Génération fluide |
| Puissance consommée | 450 | Watts | Charge maximale détectée |
La quantification iq3-s est une méthode de réduction de la précision des poids du modèle qui permet de réduire l'utilisation de la mémoire tout en préservant une qualité de sortie acceptable pour la plupart des tâches courantes, ce qui la rend idéale pour les cartes graphiques grand public.