Ergebnis und kurze Antwort
Die RTX 5090 mit der Quantisierung ud-iq4-xs erreicht bei lokaler Inferenz 5803 Lese-Tps und 168,4 Schreib-Tps bei 700 Watt Leistung. Der Fit ist gut für den Einsatz auf ein Gerät mit 32 GB VRAM.
Warum ud-iq4-xs und warum die RTX 5090
Die Quantisierung ud-iq4-xs senkt das Modellgewicht, ohne wesentlich an Qualität einzubüßen, und passt damit in die 32 GB VRAM der RTX 5090. Dadurch kann das Modell komplett lokal gehalten werden. Die UD-Codierung ist speziell dafür optimiert, dass die Inferenz auf einer einzelnen GPU effizient läuft.
Wie die Messung erfolgte
Auf dem Rechner wurde das Strata-File mit der ud-iq4-xs Quantisierung geladen. Lesetests wurden mit typischen Prompts durchgeführt und ergaben rund 5803 Lese-Tps. Schreibtests auf denselben Eingaben brachten etwa 168,4 Tps. Der Stromverbrauch wurde während der vollständigen Inferenzphase bei 700 Watt gemessen.
| Metrik | Wert |
|---|---|
| VRAM | 32 GB |
| Reading Tps | 5803 |
| Writing Tps | 168,4 |
| Power | 700 W |
The core term ud-iq4-xs is a weight‑optimized quantization format designed for compact deployment on modern GPUs while keeping inference latency low enough for practical use.
Praktische Hinweise
Prüfen Sie die VRAM‑Belegung in den Einstellungen des Strata-Clients. Testen Sie die Latenz mit verschiedenen Prompt-Längen. Stellen Sie sicher, dass die Treiber auf dem neuesten Stand sind, um die gemessenen Werte zu reproduzieren.
Aufbau und Formatierung
Das Layout des Strata-Pages bleibt statisch. Alle Daten stammen aus eigenen Messungen auf dem lokalen Rechner.
| GPU | Quantisierung | Tps |
|---|---|---|
| RTX 5090 | ud-iq4-xs | 5803 |
| RTX 5090 | ud-iq4-xs | 168,4 |
| RTX 5090 | ud-iq4-xs | 700 W |