Sur une RTX 4090 équipée de la quantization iq3-xxs, le moteur Strata permet d'exécuter un modèle local avec une latence de lecture de 4000 lectures par seconde et une écriture de 109.3 écritures par seconde. Le test a été réalisé en mesurant la puissance à 550 W, ce qui donne un coût unitaire de 0,25 €/kWh pour l'énergie électrique consommée pendant l'inférence.

Pourquoi cette quantization et ce matériel?

L'iq3-xxs est une forme de quantization qui réduit la mémoire requise tout en conservant une qualité de sortie suffisante pour des prompts longs. La RTX 4090 offre 24 Go de VRAM, ce qui laisse la marge nécessaire pour charger le modèle completement en mémoire sans swap.

Comment mesurer sur votre propre machine

Le test a été effectué avec le client Stratat et le moteur Strata. Regardez les logs d'inference : readTps et writingTps indiquent combien d'opérations sont traitées par seconde. Mesurez la consommation avec un compteur de puissance sur la prise de la station. Calculez le prix de la session en multipliant la kWh utilisée par 0,25 €.

MetricValue
VRAM used24 GB
readTps4000
writingTps109.3

La configuration est classée 'Good' pour des prompts locaux de taille moyenne avec un budget d'énergie limité. Sur une RTX 4090, la quantization iq3-xxs ne ralentit pas la génération de texte de manière significative, contrairement aux quantizations non optimisées.

Le cœur de la méthode est l'évaluation des performances en tps avant et après application de la quantization. Utilisez les métriques de lecture et d'écriture pour comparer le même modèle en différents formats.

Définition : "La quantization iq3-xxs est une compression du modèle qui réduit la précision numérique des poids pour diminuer l'empreinte mémoire et accélérer l'inférence tout en conservant une qualité de sortie acceptable pour l'usage local."

Implications pratiques

Avec 550 W de consommation, un cycle d'inference complet sur la quantization iq3-xxs coûte environ 0,13 € par exécution en électricité. C'est un coût marginal pour des travaux de prototypage ou de fine-tuning local sans recourir à un datacenter.

Limites et conseils

Cette quantization n'est pas universelle; elle fonctionne bien sur des modèles de la famille Strata optimisés pour l'inférence. Ne l'utilisez pas pour des tâches nécessitant une précision absolue. Testez toujours les performances sur votre propre matériel avant de déployer.