Matériel
38 guides pratiques dans « Matériel », basés sur des mesures matérielles réelles.
- Exécution de rtx4090-q2-0 sur RTX 4090 : Bilan et Performance
Analyse détaillée du modèle rtx4090-q2-0 sur RTX 4090. Données VRAM, vitesse de lecture et coût énergétique réels pour les utilisateurs locaux.
- Tests RTX 4090 iq2-xs : Latence, coût et performance locale
Analyse détaillée de l'exécution du modèle avec quantisation iq2-xs sur une RTX 4090. Vitesse de lecture, consommation électrique et rentabilité pour l'inférence locale.
- rtx4090-iq3-xxs test : performance et consommation locale
Ce test mesure le comportement de la carte RTX 4090 avec la quantization iq3-xxs via le moteur Strata. Il montre les lectures et écritures en tps, la puissance consommée et ce que la configuration…
- RTX 4090 iq3-s: local inference that stays cool and fast
Run the iq3-s quantization of the Stratat engine on an RTX 4090 locally. Measured throughput is 4000 reading tps, 109.3 writing tps, with 550 W power draw.
- Test de performance du modèle Coder sur RTX 4090 : analyse locale
Découvrez les performances réelles du modèle Coder sur une RTX 4090 avec 24 Go de VRAM. Analyse détaillée de la vitesse, de la consommation et de l'adéquation.
- RTX 4090 ud-iq4-xs local inference: fast, cheap, private
Test results for running the ud-iq4-xs quantization of a local model on a RTX 4090. Writing throughput is about 109 words per second and reading about 4000 words per second.
- Benchmark RTX 5090 : performances réelles en quantisation Q2-0
Analyse approfondie de la RTX 5090 avec un modèle en Q2-0. Vitesse de lecture, consommation électrique et capacité VRAM détaillées pour les experts locaux.
- RTX 5090 with iq2-xs quantization runs smoothly on Stratat
Stratat lets you run a local LLM on your RTX 5090. The iq2-xs quantization fits in the 32 GB VRAM and keeps power draw at 700 W.
- RTX 5090 et iq3-xxs : Performance, VRAM et coût énergétique détaillés
Analyse technique de l'exécution locale d'un modèle avec la quantisation iq3-xxs sur RTX 5090. Vérifiez la VRAM, la vitesse et la consommation électrique.
- RTX 5090 IQ3-S: Local inference results on a single local GPU
A summary of running a specific quantized model on a single RTX 5090. It shows measured throughput and power usage for the IQ3-S quantization, with concrete numbers for tokens per second and wattage.
- RTX 5090 Coder : Benchmarks, coût énergétique et performance locale
Analyse détaillée de l'exécution locale du modèle Coder sur une RTX 5090. Performance en lecture/écriture, consommation de 700W et calcul du coût réel par heure d'utilisation.
- Performance RTX 5090 ud-iq4-xs : Latence, coût et précision locale
Analyse de l'exécution ud-iq4-xs sur RTX 5090. Vitesse de lecture de 5803 t/s, consommation de 700W et coût énergétique réel pour les experts.
- RTX 5080 et Q2-0 : Analyse de la performance locale et consommation
Étude détaillée de l'exécution du modèle q2-0 sur une RTX 5080. Analyse de la charge VRAM, de la vitesse de lecture et du coût énergétique réel.
- RTX 5080 IQ2-XS: running a local quantized model
A practical guide for running a locally quantized large AI model on an RTX 5080 using the Strata engine. Measure throughput and latency, check power draw, and verify the IQ2-XS quantization fits in…
- RTX 5080 IQ3-xxs with Strata: fast local inference
We ran the iq3-xxs quantization of the local Strata engine on an RTX 5080, measuring inference and write throughput in seconds per token.
- RTX 5080 IQ3-S: 3712 tps on local inference (good fit)
We measured q8-3S quantized inference on a Stratat app using an RTX 5080 with 16 GB VRAM. The IQ3-S quantization delivered 3712 reading TPS and 80.7 writing TPS at 510 W power draw.
- RTX 5080 Coder : Performance et coût pour l'IA locale
Testez la quantization Coder sur une RTX 5080. Analyse des TPS, de la VRAM et du coût énergétique à 0,25 €/kWh pour vos inférences locales.
- RTX 5080 sur ud-iq4-xs: la quantization ud-iq4-xs s'exécute bien
Testez la quantization ud-iq4-xs sur un RTX 5080 en local avec le moteur Strata. La VRAM de 16 Go permet de charger le modèle sans troncature visible.
- RTX 3090 Q2-0 : Latence 2094 Tps et Conso 500W
Analyse technique du modèle Q2-0 sur RTX 3090. Vitesse de lecture 2094 Tps, écriture 86,5 Tps. Consommation 500W pour un rendu optimal.
- Guide d'utilisation : RTX 3090 et iq2-xs pour Stratat
Analyse complète de l'exécution locale du modèle iq2-xs sur une RTX 3090. Performance, consommation et rentabilité énergétique détaillées pour Stratat.
- RTX 3090 iq3-xxs quantization: fast local inference on Stratat
We ran the Strata engine with the iq3-xxs quantization on a single RTX 3090 and recorded inference throughput, latency and power draw.
- RTX 3090 IQ3-s: local inference that fits in 24GB VRAM
Run the locally quantized Strata engine on an RTX 3090 with the iq3-s scheme. It delivers about 2094 reads per second and 86.5 writes, while consuming roughly 500 W under load.
- Test RTX 3090 Coder : Performance locale et coûts énergétiques
Analyse détaillée du modèle Coder sur RTX 3090. Découvrez le débit, la consommation et l'adéquation VRAM pour vos déploiements locaux.
- Performance de rtx3090-ud-iq4-xs : analyse détaillée
Découvrez les performances réelles de la quantization ud-iq4-xs sur RTX 3090. Analyse VRAM, vitesse et consommation énergétique pour le calcul local.
- Tests RTX 5070 Ti Q2-0 : Performance et Consommation Réelles
Analyse détaillée de l'exécution du modèle en quantisation q2-0 sur une RTX 5070 Ti. Vérification de la capacité VRAM, des débits et de la consommation électrique.
- Testez l'iq2-xs sur RTX 5070 Ti : Performances VRAM et Énergie
Analyse détaillée de l'iq2-xs sur RTX 5070 Ti. 16 Go VRAM, 450W, 2498 tps. Guide de configuration Stratat pour une IA locale efficace.
- RTX 5070 Ti : Benchmark iq3-xxs et performance locale
Analyse détaillée de l'exécution du modèle avec la quantisation iq3-xxs sur une RTX 5070 Ti. Vérifiez la consommation et la vitesse de lecture pour votre setup.
- Test RTX 5070 Ti : Performance du modèle iq3-s en local
Analyse détaillée de l'exécution du quantification iq3-s sur une RTX 5070 Ti. Consommation, vitesse de génération et adéquation mémoire pour les utilisateurs exigeants.
- RTX 5070 Ti with Coder quantisation, vram 16GB performe
Test of running the Coder quantisation on a RTX 5070 Ti using the Stratat desktop app. Memory fits well, inference throughput is around 2500 reads/s and write 70 writes/s.
- RTX 5070 Ti with ud-iq4-xs quantization runs smoothly on local Strata
On a desktop equipped with an RTX 5070 Ti, the ud-iq4-xs quantization of the Strata engine fits within 16GB VRAM, delivers around 2,500 reading TPS and 71 writing TPS, and draws about 450W in use.
- rtx4070ti_super-q2-0 performance on a local 16GB GPU
Measured throughput on a single RTX 4070 Ti SUPER 16GB with q2-0 quantization gives about 1700 tokens per second on read and 72 on write. Power draw stays near 435 W under full inference load.
- rtx4070ti_super-iq2-xs sur la Strate engine: mesures et conseils
Cette rubrique détaille l'exécution du modèle quantifié iq2-xs sur une RTX 4070 Ti SUPER 16 Go via le client Stratat. Elle présente les performances mesurées (1700 lectures/s, 72 écritures/s), la…
- Test RTX 4070 Ti SUPER iq3-s : Performances et consommation
Analyse détaillée du modèle iq3-s sur RTX 4070 Ti SUPER 16 Go. Vérifiez la vitesse de lecture, la charge thermique et le coût énergétique réel.
- RTX 4070 Ti SUPER 16GB on coder quantization runs well
The RTX 4070 Ti SUPER 16GB fits the coder quantized profile with coder precision, delivering 1700 reading tps and 72 writing tps while keeping power draw near 435 W.
- RTX 4070 Ti SUPER 16GB run un modèle quantifié ud-iq4-xs avec Stratat
Le module Strate permet de charger des modèles d'IA de grande taille sur un PC de bureau avec une consommation électrique maîtrisée.
- Benchmark RX 7900 XTX Q2-0 : Vitesse et coût réels
Analyse détaillée du modèle Q2-0 sur RX 7900 XTX. Vitesse, consommation et rentabilité pour l'inférence locale. Données mesurées.
- RX7900 XTX avec iq2-xs : une quantification locale performante
Testez la carte AMD Radeon RX 7900 XTX avec la quantification iq2-xs dans le moteur Strata. Mesures en lecture 1459.3 tps et écriture 75.5 tps, consommation 475 W. Idéal pour l'IA locale en français.
- Bilan AMD RX 7900 XTX avec iq3-xxs : Performance et Consommation
Analyse détaillée du modèle iq3-xxs sur AMD RX 7900 XTX. Vitesse, VRAM et coût électrique réels pour l'inférence locale.