Fazit vorab: Die Kombination RTX 3090 plus iq3-xxs Quantisierung liefert akzeptable Lese- und Schreibraten bei einem messbaren Leistungsprofil von 500 Watt. Der Einsatz eignet sich für lokale Inferenz auf Strata, wobei Lesegeschwindigkeit und Schreibgeschwindigkeit klar getrennt sind.

Warum iq3-xxs?

Der iQ3-Schema-Kodierung reduziert die Modellgröße erheblich, sodass die 24 GB VRAM der RTX 3090 ausreichen, um das gewählte Modell ohne Swap zu laden. Das ist praktisch, wenn Sie auf einem Einzel-GPU-System arbeiten, das nicht mehr als eine große Modellvariante unterstützt. Die Quantisierung ist ein Kompromiss zwischen Präzision und Speicherbedarf, der für lokale Inferenz geeignet ist.

Wie Strata auf der RTX 3090 läuft

Das Strata-Client-Frontend bindet den Engine-Kern ein, der die iQ3-Quantisierung unterstützt. Sie starten die Anwendung, wählen das Modell und die Quantisierungsstufe im Interface aus. Prüfen Sie danach die Lese-TPS und Schreib-TPS-Werte im Dashboard. Die Werte liegen bei 2094 Lese-TPS und 86.5 Schreib-TPS bei einem gemessenen Durchschnitt.

Die folgenden Messwerte beschreiben das Profil:

MetrikWert
VRAM24 GB
Lese-TPS2094
Schreib-TPS86.5
Leistung500 W

Das Modell verbraucht im Betrieb nahezu 500 Watt. Das ist der Stand, den Sie auf Ihrem System messen können.

Kernbegriff: iQ3-xxs

iQ3-xxs bezeichnet eine spezielle Quantisierungsstufe für große Sprachmodelle, die die Parameteranzahl stark komprimiert, während sie die wesentliche Rechenstruktur bewahrt.

Praktische Hinweise

Nutzen Sie das Dashboard von Strata, um VRAM-Auslastung und Stromverbrauch live zu prüfen. Die Lese-TPS von 2094 zeigt, dass Inferenzvorgänge flüssig laufen. Der Schreib-TPS von 86,5 zeigt die Geschwindigkeit beim Schreiben der Ergebnisse oder des Modells in die lokale Festplatte. Messen Sie diese Werte auf Ihrer eigenen Maschine, um die tatsächliche Performance abzuschätzen.

Voraussetzungen und Einschränkungen

Strata mit der RTX 3090 und iq3-xxs ist gut für Inferenz geeignet. Es ist nicht für sehr lange Kontexte oder extrem hohe Schreibraten optimiert. Die 500 Watt Verbrauch bedeuten höhere Betriebskosten im Vergleich zu kleineren GPUs, aber keine Datenexposition nach außen.

Fazit

Die RTX 3090 mit der iq3-xxs Quantisierung auf Strata bietet einen praktischen Kompromiss für Nutzer, die lokal große Modelle ausführen wollen, ohne Cloud-Anbindung. Messen Sie VRAM, Lese- und Schreibraten auf Ihrer eigenen Hardware, um die Passung zu prüfen.