La réponse courte est que la carte accepte la quantisation ud-iq4-xs et donne un débit de lecture stable de 1700 lectures par seconde, avec une écriture de 72. Le mode local préserve la confidentialité des données sans cloud.
Pourquoi choisir ce montage
Stratat offre un moteur d'inférence local qui ne dépend pas d'un datacenter. Vous pouvez ajuster la quantisation pour réduire l’usage mémoire tout en gardant une qualité suffisante. La carte consomme 435 watts au maximum, ce qui reste acceptable pour un usage domestique avec un contrat d'électricité classique.
Comment tester les performances sur votre machine
Vérifiez d'abord la capacité VRAM de votre GPU : 16 Go permettent de charger le modèle completement déplié. Les lectures en mode lecture pure atteignent 1700 tps, alors que les écritures restent à 72 tps. La puissance mesurée est de 435 W en charge active. Utilisez la console Stratat pour afficher les métriques temps réel et comparer avec une version non quantifiée.
| Paramètre | Valeur mesurée |
|---|---|
| VRAM disponible | 16 Go |
| Lecture tps | 1700 |
| Écriture tps | 72 |
| Consommation max | 435 W |
Le terme « ud-iq4-xs » désigne une quantisation mixte optimisée pour les GPU avec 16 Go de mémoire, réduisant la précision pour accélérer l’inférence sans dépasser le budget VRAM.
Vérifications personnelles
Connectez-vous à Stratat via l'interface web locale, lancez un script de chargement du modèle quantifié et notez les tps affichés. Comparez les valeurs avec celles d'une version FP16 pour sentir le compromis vitesse/précision. Assurez-vous que la température reste sous 80°C pour une durée prolongée. Une alimentation stable et un flux d'air suffisant sont essentiels sur une RTX 4070 Ti SUPER.
FAQ
{"q": "Quelle quantisation est compatible avec la RTX 4070 Ti SUPER?", "a": "La quantisation ud-iq4-xs est conçue pour cette carte avec ses 16 Go de VRAM. Elle compresse le modèle sans perte notable de compréhension pour les tâches courantes."}
{"q": "Combien d'électricité coûte l'inférence?", "a": "Un cycle de lecture complète consomme environ 435 W. Sur une heure de traitement, cela représente 0,435 kWh, un prix faible avec l'électricité locale à 0,25 € le kilowattheure."}
{"q": "Le modèle peut-il être utilisé hors ligne?", "a": "Oui, Stratat fonctionne entièrement en local, sans envoi de données vers un service cloud. La confidentialité est ainsi garantie pour tout usage."}