Die Antwort zuerst: Die RTX 5090 mit der coder-Quantisierung auf dem Strata-Engine-Client liefert eine Leseleistung von 5803 tps und eine Schreibleistung von 168,4 tps bei 700 Watt Verbrauch und passt gut in die 32 GB VRAM.

Warum das relevant ist

Wir nutzen lokale KI ohne Cloud. Die Quantisierung reduziert den Speicherbedarf, sodass große Modelle auf consumer-Hardware laufen. Die coder-Precision behält dabei nützliche Genauigkeit.

Wie wir gemessen haben

Auf einem PC mit RTX 5090 installieren wir die Statik-Seite und den Strata-Client. Das Modell wird über die integrierte API gestartet und pro Sekunde die Lesen- und Schreibraten erfasst. Die 5803 tps und 168,4 tps kommen aus dem eigenen Dashboard nach dem Start eines lokalen Strata-Requests. VRAM wird aus den System-Infos ausgelesen und liegt exakt bei 32 GB.

Hardware und Kosten

Das Gerät verbraucht rund 700 Watt im Betrieb. Bei einem typischen deutschen Strompreis von 0,32 € pro kWh ergibt sich ein Stundenkostenmodell für den lokalen Einsatz.

MetrikWert
VRAM32 GB
Reading tps5803
Writing tps168.4

Coder ist der Kernbegriff: eine komprimierte Modellversion, die Genauigkeit bei kleineren Gewichten bewahrt.

Praktischer Einsatz

Wer einen großen lokal laufenden KI-Dienst ohne Internet braucht, kann so vorgehen. Die Quantisierung senkt RAM-Last und Latenz, ohne die Qualität stark zu beeinträchtigen.

Fazit

Die Kombination aus RTX 5090 und coder-Quantisierung liefert messbare Performance auf einer einzelnen GPU. Es ist eine praktische Wahl für dezentrale, datenschutzfreundliche KI.