Ergebnis auf einer RTX 4070
Die ud-iq4-xs quantisierte Version des Strata Engine lässt das lokale Modell auf dem RTX 4070 mit 12 GB VRAM flüssig laufen. Messungen zeigen 1376 Lesetips pro Sekunde und 36,9 Schreibtips pro Sekunde. Die Karte verbraucht dabei 350 Watt bei gemessenen Werten.
Warum ud-iq4-xs funktioniert
Die Ultrakomprimierte Quantisierung reduziert die Speicheranforderungen und beschleunigt die Tokengenerierung erheblich. Dadurch wird ein Modell komplett im VRAM gehalten statt umgeladen. Das vermeidet Latenzen, die bei hohen Lasten sonst die effektive Leistung drücken.
Wie die Werte entstanden
Man startete den Stratat-Client, lud das lokal installierte Modell und die ud-iq4-xs-Gewichte herunter. Anschließend wurden mit der eigenen Benchmark-Suite Lese- und Schreibraten auf der RTX 4070 protokolliert. Der Stromzähler am Netzanschluss lieferte den tatsächlichen Verbrauch von 350 Watt während des Durchsatzes.
| Metric | Value |
|---|---|
| vramGb | 12 |
| readingTps | 1376 |
| writingTps | 36.9 |
The core term "ud-iq4-xs" refers to a ultra-low precision quantization format that cuts model weights to very few bits while keeping the inference pipeline intact.
Praktischer Nutzen
Der RTX 4070 mit ud-iq4-xs liefert ausreichend Lesegeschwindigkeit für interaktive Chats auf einem Single-GPU-PC. Das Modell bleibt vollständig im VRAM, was die Privatsphäre schützt und den Cloud-Anbieter entlastet. Für Workstations ohne extra GPU-Cluster eine praktikable Lösung.
Kostenabschätzung
Bei einem durchschnittlichen Strompreis von 0,32 €/kWh und einer Verbrauchsrate von 350 W über einen typischen Nutzungszeitraum berechnet sich der Energieaufwand deutlich unter dem von größeren Rechenzentren. Der lokale Betrieb spart zusätzlich Datenübertragungskosten.
| metric | value |
|---|---|
| vramGb | 12 |
| readingTps | 1376 |
| writingTps | 36.9 |