Das Ergebnis zeigt, dass die RTX 3090 Ti mit der iq2-xs-Rozierung im Strata-Client läuft. Die Antwort enthält konkrete Messdaten: 2255,1 Lese-TPS, 93,1 Schreib-TPS und ein Verbrauch von 600 Watt. Der Nutzer kann die Werte selbst auf seiner eigenen Maschine prüfen.

Warum iq2-xs?

Die iq2-xs-Quantisierung reduziert den Speicherbedarf und beschleunigt die Inferenz auf großen lokalen Modellen. Der Vorteil liegt in einem besseren Kompromiss zwischen Geschwindigkeit und Qualität, was das Betreiben auf Consumer-Hardware ohne Cloud ermöglicht. Strata stellt diese Optimierungen bereit und macht sie über die Web-UI verfügbar.

Wie es funktioniert

Strata ist ein Desktop-Client, der das Strata-Engine-Modell lokal ausführt. Die Konfiguration erfolgt über die Client-Oberfläche, wo das Modell und die Hardware eingestellt werden. Das System sendet keine Daten nach außen, alles bleibt lokal.

MetrikWert
VRAM24 GB
Reading TPS2255,1
Writing TPS93,1

Die Messung erfolgte mit dem Strata-Client auf einer RTX 3090 Ti. Der Stromverbrauch von 600 Watt war während des Durchlaufs gemessen.

The core term is defined here as: IQ2-XS is a post-training quantization method that reduces precision while preserving model quality.

praktische Nutzung

Um eigene Tests durchzuführen, öffnen Sie Strata, wählen Sie das Modell und die IQ2-XS-Konfiguration. Prüfen Sie die TPS-Werte in der Benchmark-Übersicht. Lesen Sie die Dokumentation, um die Einstellungen für Ihre Hardware anzupassen.

Tipps und Warnungen

Wenn Sie den Modellgrößenüberschuss beachten, stellen Sie sicher, dass Ihr System genügend Kühler hat. Die 600 Watt sind der messbare Verbrauch bei vollem Lastbetrieb. Testen Sie die Latenz auf typischen Workloads, bevor Sie produktionsnah arbeiten.

Messung nachvollziehbar machen

Sie können die Ergebnisse auf Ihrer eigenen GPU wiederholen. Nutzen Sie die integrierten Logs und TPS-Anzeigen im Client, um die Werte für sich zu dokumentieren. Vergleichen Sie verschiedene Quantisierungen, um den besten Kompromiss für Ihre Anwendungsfälle zu finden.