Warum iq2-xs und die rt xs Variante?
Die iq2-xs Quantisierung reduziert das Modellgewicht um einen Faktor, der Speicherbedarf und Latenz senkt, ohne dass eine Cloud-Anbindung nötig ist. Stratat macht diese Quantisierung über die client-seitige Konfiguration zugänglich, sodass Nutzer ihre eigene Hardware nutzen.
Wie Stratat die Messung durchführt
Der Benutzer startet Stratat, wählt die gewünschte GPU und das Modell. Danach werden die TPS-Werte für Lese- und Schreiboperationen erfasst. Die Werte von 4000 Lese-TPS und 109 Schreib-TPS stammen aus direkten Messungen am Gerät und zeigen den Durchsatz des iq2-xs Modells.
| Metrik | Wert |
|---|---|
| VRAM | 24 GB |
| Reading TPS | 4000 |
| Writing TPS | 109.3 |
Das Modell benötigt 24 GB VRAM, passt also vollständig in den Speicher der RTX 4090. Der Stromverbrauch von 550 Watt während des Betriebs entspricht dem typischen Verbrauch eines leistungsstarken Desktop-PCs mit dieser Karte.
Was bedeutet das für den lokalen Betrieb?
Mit der iq2-xs Quantisierung lässt sich ein großes Modell lokal betreiben, ohne dass eine Internetverbindung für Inferenz nötig ist. Das spart Latenz und erhöht die Privatsphäre, da keine Daten zu einem Remote-Server gesendet werden.
Kernbegriff erklärt
"Quantisierung" bezeichnet die Reduktion der Modellgewichte auf niedrigere Bitbreiten, wodurch die Rechenlast und der Speicherbedarf sinken, ohne dass die Genauigkeit wesentlich beeinträchtigt wird.
Praktische Hinweise
Um die Messung selbst zu replizieren, öffnen Sie die Stratat-Konsole und wählen Sie die rt xs Variante. Überprüfen Sie anschließend die Lese- und Schreib-TPS-Werte im Dashboard. Achten Sie darauf, dass die 550 Watt Leistung bei voller Last gemessen wurde.
Zusammenfassung
Stratat mit der iq2-xs Quantisierung auf einer RTX 4090 bietet einen praktikablen Weg zu lokaler KI-Nutzung mit akzeptabler Geschwindigkeit und einem messbaren Energieverbrauch.
