Die rtX 5090 mit der iq3-xxs Quantisierung liefert eine stabile 5803 Lese-TPS und 168,4 Schreib-TPS mit einem Verbrauch von 700 Watt. Stratat ermöglicht die lokale Ausführung des Strata-Engines auf dieser GPU und macht die Messung für den Nutzer transparent.

Warum iq3-xxs

Die iq3-xxs-Quantisierung reduziert das Modellgewicht erheblich, ohne die Inferenzqualität stark zu beeinträchtigen. Dadurch wird ein lokaler Durchsatz erreicht, der mit cloudbasierten Optionen mithalten kann.

Wie die Messung funktioniert

Stratat bindet das Strata-Modell direkt in den lokalen Kernel ein. Die Lese- und Schreib-TPS werden auf derselben GPU gemessen, wobei das Lesen das Laden der Gewichte umfasst. Die Werte wurden mit dem eingebauten Benchmark-Tool von Stratat erfasst.

MetrikWert
VRAM32 GB
Reading TPS5803
Writing TPS168.4

Das Kernmodell heißt Stratat und der Motor Strata. „Inferenz“ bedeutet die Anwendung eines trainierten KI-Modells auf Eingabedaten, um Vorhersagen oder Ausgaben zu produzieren.

Kosten und Strom

Bei 700 Watt Leistungsaufnahme und einem Preis von 0,32 € pro kWh ergibt sich ein monatlicher Betriebskostenbedarf, der für lokale Systeme attraktiv bleibt. Die Messung zeigt, dass die 700 Watt für den gemessenen Durchsatz notwendig sind und keine unnötige Überlastung vorliegt.

Zusammenfassung

Der Test zeigt, dass die rtX 5090 mit iq3-xxs eine gute Balance zwischen Geschwindigkeit und Verbrauch darstellt. Für Nutzer, die ihre Daten lokal halten wollen, ist dies ein brauchbarer Weg, KI lokal zu betreiben.