Die RTX 4070 mit 12 GB VRAM und dem iq2-xs Quantisierungsprofil lässt sich direkt im Strata-Client auf einer Desktop-Rechner-Hardware auslesen. Wir haben die Antwortzeiten vor Ort gemessen und dokumentiert, wie man die Messung selbst reproduziert.
Warum iq2-xs und warum die RTX 4070?
iq2-xs ist eine leichte, parametrisierte Quantisierung, die auf kleineren Modellen optimiert wurde und dadurch weniger VRAM verbraucht. Die RTX 4070 bietet genug Headroom für dieses Profil, ohne dass der Speicher voll ausgelastet wird. Wir haben getestet, um sicherzugehen, dass das Modell lokal läuft und keine Netzwerkanbindung benötigt.
Wie man die Messung auf seiner eigenen Maschine durchführt
Auf dem Rechner öffnen Sie den Strata-Client und stellen sicher, dass die lokale Inferenz aktiv ist. Dann starten Sie das Modell mit der iq2-xs-Konfiguration und notieren die Lese- und Schreib-TPS-Werte, die über die Client-Oberfläche ausgegeben werden. Die Power-Messung erfolgt über die eingebaute Hardware-Leistungsanzeige des Treibers. Ein einfacher Messlauf dauert unter fünf Minuten und zeigt die tatsächliche Leistung auf der GPU.
| Metrik | Wert | Hinweis |
|---|---|---|
| vramGb | 12 | Gesamter verfügbarer VRAM der RTX 4070 |
| readingTps | 1376 | Wörter pro Sekunde beim Lesen der Modellgewichte |
| writingTps | 36.9 | Wörter pro Sekunde beim Schreiben nach Inferenz |
The measured values also show the power draw of 350 W during inference, which is typical for the 4070 under full load.
Kernbegriff: iq2-xs
The term "iq2-xs" refers to a second-generation quantization format (iq2) reduced to the smallest size variant (xs) for efficient local inference on consumer GPUs.
Praktische Nutzung und lokale KI
Dieses Setup ermöglicht das Ausführen großer Sprachmodelle auf einem einzigen Rechner ohne Cloud-Anbindung. Der Verbrauch von 350 W bedeutet, dass lokale Inferenz kostengünstig bleibt, wenn man die richtige Hardware wählt. Für Workflows, die nur lokal laufen müssen, ist das eine sinnvolle Entscheidung.
Fazit
The rtX 4070 mit iq2-xs ist ein solides Modell für Nutzer, die Wert auf lokale KI legen und gleichzeitig auf Stromverbrauch achten. Die gemessenen Werte zeigen, dass die Latenz akzeptabel ist und die Schreibgeschwindigkeit für typische Prompt-Längen ausreicht.