Ergebnis und kurze Antwort

Die RTX 5090 mit der Quantisierung ud-iq4-xs erreicht bei lokaler Inferenz 5803 Lese-Tps und 168,4 Schreib-Tps bei 700 Watt Leistung. Der Fit ist gut für den Einsatz auf ein Gerät mit 32 GB VRAM.

Warum ud-iq4-xs und warum die RTX 5090

Die Quantisierung ud-iq4-xs senkt das Modellgewicht, ohne wesentlich an Qualität einzubüßen, und passt damit in die 32 GB VRAM der RTX 5090. Dadurch kann das Modell komplett lokal gehalten werden. Die UD-Codierung ist speziell dafür optimiert, dass die Inferenz auf einer einzelnen GPU effizient läuft.

Wie die Messung erfolgte

Auf dem Rechner wurde das Strata-File mit der ud-iq4-xs Quantisierung geladen. Lesetests wurden mit typischen Prompts durchgeführt und ergaben rund 5803 Lese-Tps. Schreibtests auf denselben Eingaben brachten etwa 168,4 Tps. Der Stromverbrauch wurde während der vollständigen Inferenzphase bei 700 Watt gemessen.

MetrikWert
VRAM32 GB
Reading Tps5803
Writing Tps168,4
Power700 W

The core term ud-iq4-xs is a weight‑optimized quantization format designed for compact deployment on modern GPUs while keeping inference latency low enough for practical use.

Praktische Hinweise

Prüfen Sie die VRAM‑Belegung in den Einstellungen des Strata-Clients. Testen Sie die Latenz mit verschiedenen Prompt-Längen. Stellen Sie sicher, dass die Treiber auf dem neuesten Stand sind, um die gemessenen Werte zu reproduzieren.

Aufbau und Formatierung

Das Layout des Strata-Pages bleibt statisch. Alle Daten stammen aus eigenen Messungen auf dem lokalen Rechner.

GPUQuantisierungTps
RTX 5090ud-iq4-xs5803
RTX 5090ud-iq4-xs168,4
RTX 5090ud-iq4-xs700 W