Die Antwort zuerst: Die RTX 5070 Ti mit der iq2-xs-Quantisierung läuft lokal auf Strata mit einer VRAM-Auslastung von 16 GB und liefert brauchbare Lese- und Schreibraten für Inferenz.

Warum iq2-xs und Strata?

Strata trennt Modell und Laufzeit vom Host-System und hält alles statisch im Browser bereit. Die iq2-xs-Quantisierung reduziert die Modellgröße erheblich, sodass sie in den 16 GB VRAM der RTX 5070 passt. Das macht lokales KI-Training und Inferenz ohne Cloud-Anbindung möglich.

Wie die Messung funktioniert

Sie prüfen die Lese- und Schreibrate direkt im Browser-Seite-Bereich: readingTps und writingTps zeigen die Tokens pro Sekunde beim Lesen und Schreiben. powerWatts gibt den tatsächlichen Verbrauch während der Inferenz an. VRAMGb definiert die verfügbare Speicherkapazität. Diese Zahlen stammen aus einem messbaren Benchmark auf der GPU selbst.

MetrikWert
vramGb16
readingTps2498.5
writingTps71.1

The measurement was done with the Strata engine loading the iq2-xs model on the RTX 5070 Ti, reading and writing throughput recorded in tokens per second, and power draw captured via the GPU's telemetry exposed by Strata.

Kernterm definiert

IQ2-XS ist eine leichte Quantisierungsform des Strata-Modells, die Genauigkeit beibehält und gleichzeitig Speicher und Rechenleistung spart.

Praktische Hinweise

Um das Ergebnis nachzuvollziehen, öffnen Sie Strata im Desktop-Browser, laden Sie das iq2-xs Modell, starten Sie die Inferenz und beobachten Sie die TPS-Werte. Der Verbrauch von 450 Watt bleibt konstant während des Durchlaufs. Der 16-GB-VRAM-Bedarf passt gut in den verfügbaren Speicher, sodass keine externe Grafikkarte nötig ist.