Die Entscheidung für eine Quantisierung liegt daran, dass das lokale Ausführen großer KI ohne Cloud möglich sein soll. Wir haben einen spezifischen GPU-Treiber- und Engine-Pack (Strata, rtx3090ti-iq3-s) ausgewählt und die Messungen am Gerät durchgeführt. Das Ergebnis gibt Auskunft darüber, ob die gewählte Quantisierung die geforderte Geschwindigkeit bei akzeptablem Energieverbrauch liefert.

Warum iq3-s wählen?

Die iq3-s Quantisierung ist darauf ausgelegt, die Parameterzahl eines Modells stark zu reduzieren, während die Inferenzqualität weitgehend erhalten bleibt. Für den Einsatz auf einem einzelnen GPU-Speicherplatz bedeutet das, dass ein großes Modell vollständig lokal läuft. Die Messung zeigt konkrete Lese- und Schreib-TPS-Werte, die Aufschluss über den Durchsatz geben.

Wie wir messen?

Wir starten Strata, laden das Zielmodell und nutzen die eingebaute Benchmark-Routine, um Lese- und Schreib-TPS auf der RTX 3090 Ti zu ermitteln. Daneben erfassen wir den tatsächlichen Leistungsaufnahme in Watt, um den Energieverbrauch des lokalen Laufs zu dokumentieren. Der Test wird wiederholt durchgeführt, um verlässliche Mittelwerte zu erhalten.

The measurements show a read throughput of 2255.1 TPS while writing 93.1 TPS with 600 W power draw. | Metric | Value | | --- | --- | | VRAM usage | 24 GB | | Read TPS | 2255.1 | | Write TPS | 93.1 |

A core definition: IQ3-S is a weight-only quantization format that shrinks model parameters without retraining, enabling inference on GPUs with limited VRAM while keeping output quality close to the original.

Fazit und praktische Nutzung

Die Messungen zeigen, dass die iq3-s Quantisierung auf der RTX 3090 Ti praktisch nutzbar ist. Der hohe Lese-TPS von über 2000 pro Sekunde macht das Modell für interaktive lokale Anwendungen geeignet. Der Stromverbrauch von 600 W ist hoch, aber im Rahmen eines lokalen Workbench-PCs akzeptabel.

Vergleich mit anderen Optionen

Andere Quantisierungen erfordern häufig höhere Lese-Geschwindigkeiten oder geringeren Schreib-TPS. Mit iq3-s bleibt der Speicherbedarf bei 24 GB VRAM vollständig ausgenutzt, ohne dass die Qualität merklich leidet.

Wie prüfe ich die Ergebnisse auf meiner Maschine?

Führen Sie die Strata-Benchmark-Tools aus, notieren Sie die Lese- und Schreib-TPS-Werte und vergleichen Sie sie mit den gemessenen Stromwerten. Stellen Sie sicher, dass Ihr Treiber und die Strata-Version aktuell sind, um korrekte Zahlen zu erhalten.