Die Radeon RX 7900 XTX läuft stabil mit der ud-iq4-xs Quantisierung im Strata Engine. Die gemessenen Werte zeigen eine Leseleistung von 1459.3 TPS und eine Schreibleistung von 75.5 TPS bei 475 Watt Verbrauch. Die Inferenz ist gut möglich, auch ohne schnelle Netzwerkanbindung.
Warum ud-iq4-xs und die RX 7900 XTX wählen
Die ud-iq4-xs Quantisierung reduziert das Modellgewicht deutlich, während die 24 GB VRAM der RX 7900 XTX den kompletten Parameterbestand aufnehmen lässt. Lokale Ausführung spart Datenübertrag und hält Privatsphäre.
Wie die Messung durchgeführt wurde
Man nutzt den Strata Client auf der AMD-Hardware, startet ein lokales Inferenzskript und protokolliert Lese- und Schreib-TPS sowie den Stromverbrauch. Der Wert 475 Watt ist der Spitzenwert unter Last.
| Metrik | Wert |
|---|---|
| VRAM | 24 GB |
| Reading TPS | 1459.3 |
| Writing TPS | 75.5 |
| Power | 475 W |
Das Kernprinzip: Eine Quantisierung reduziert die numerische Präzision des Modells, um Speicher und Rechenleistung zu sparen, ohne die Antwortqualität stark zu beeinträchtigen. Das ist als 'ud-iq4-xs' bezeichnet und für lokale Deployment geeignet.
FAQ: - Wie viel Strom kostet die Inferenz? Bei 475 Watt und einem typischen Nutzungsprofil von einer Stunde entstehen ca. 0,475 kWh, was bei 0,32 €/kWh rund 0,15 € pro Durchlauf kostet. - Lässt sich die Quantisierung auf anderen GPUs laufen? Die Messungen gelten spezifisch für die RX 7900 XTX; andere Karten ergeben andere Werte. Prämisse ist lokaler Betrieb. - Kann man die Ergebnisse qualitativ bewerten? Ja, die Messung zeigt nur Durchsatz, nicht die inhaltliche Qualität. Ein Vergleich mit unkomprimierter Version wird empfohlen.
Die Strata Engine bleibt offline, die Daten verlassen nie das Gerät, und die Messwerte bleiben reproduzierbar auf derselben Konfiguration.