Ergebnis auf der RTX PRO 6000

Die konkreten Zahlen für die iq2-xs Quantisierung auf einer Blackwell-GPU sind klar. Der Text beschreibt, wie man die Werte selbst auf dem eigenen Rechner prüft und warum die Wahl dieser Quantisierung sinnvoll ist.

Warum iq2-xs auf Blackwell funktioniert

Die iq2-xs Kompression reduziert das Modellgewicht stark und behält dabei die Rechenfähigkeit der GPU bei. Mit 96 GB VRAM passt die Parameter vollständig in den Speicher und erlaubt den schnellen Zugriff, den die Messungen zeigen. Die 720 Watt Verbrauch sind typisch für dieses Modell, und alles bleibt lokal.

Wie man die Leistung misst

Man nutzt die eingebaute Laufzeit des Strata-Clients, um Lese-TPS und Schreib-TPS zu erfassen. Lesetests erreichen 8987,9 Lese-TPS, während Schreibvorgänge bei 171,1 TPS liegen. So sieht man sofort, ob die Konfiguration für den eigenen Workload passt.

MetrikWert
VRAM96 GB
Reading TPS8987.9
Writing TPS171.1
Power (W)720

The term IQ2-XS refers to a specific low-bit quantization format designed for efficient inference on modern GPUs.