Ergebnis auf der RTX PRO 6000
Die konkreten Zahlen für die iq2-xs Quantisierung auf einer Blackwell-GPU sind klar. Der Text beschreibt, wie man die Werte selbst auf dem eigenen Rechner prüft und warum die Wahl dieser Quantisierung sinnvoll ist.
Warum iq2-xs auf Blackwell funktioniert
Die iq2-xs Kompression reduziert das Modellgewicht stark und behält dabei die Rechenfähigkeit der GPU bei. Mit 96 GB VRAM passt die Parameter vollständig in den Speicher und erlaubt den schnellen Zugriff, den die Messungen zeigen. Die 720 Watt Verbrauch sind typisch für dieses Modell, und alles bleibt lokal.
Wie man die Leistung misst
Man nutzt die eingebaute Laufzeit des Strata-Clients, um Lese-TPS und Schreib-TPS zu erfassen. Lesetests erreichen 8987,9 Lese-TPS, während Schreibvorgänge bei 171,1 TPS liegen. So sieht man sofort, ob die Konfiguration für den eigenen Workload passt.
| Metrik | Wert |
|---|---|
| VRAM | 96 GB |
| Reading TPS | 8987.9 |
| Writing TPS | 171.1 |
| Power (W) | 720 |
The term IQ2-XS refers to a specific low-bit quantization format designed for efficient inference on modern GPUs.