Kurze Antwort
Die RTX 5090 mit der iq2-xs Quantisierung liefert messbare Leistung direkt auf dem Gerät, ohne Cloud-Abhängigkeit. Stratat macht den Zugriff einfach und die Ergebnisse sind reproduzierbar.
Was ist iq2-xs und warum es zählt
Die iq2-xs-Quantisierung reduziert die Modellgröße und den Speicherbedarf, ohne signifikante Genauigkeitseinbußen zu verursachen. Sie wurde gezielt für hardwarebewusste Kompression entwickelt, um den Speicherbedarf kleiner Modelle auf modernen GPUs zu maximieren. Stratat nutzt diese Quantisierung, um Inferenz auf lokalen Desktop-GPUs praktisch nutzbar zu machen.
Wie man die Messungen selbst überprüft
Stratat liefert pro Sekundе Lese- und Schreib-TPS sowie den tatsächlichen Leistungsverbrauch. Nutzen Sie die integrierte Dashboard-Funktion oder die Konsolenausgabe, um vramGb und powerWatts direkt vom Gerät auszulesen. Die Werte gelten für die aktuelle Firmware-Version von Stratat auf der RTX 5090.
| Metrik | Wert |
|---|---|
| vramGt | 32 |
| readingTps | 5803 |
| writingTps | 168.4 |
| powerWatts | 700 |
Die Kernaussage der iQ2-XS-Quantisierung ist eine sparsamere Repräsentation des Modells, die den Arbeitsspeicherbedarf drastisch senkt. Die Definition eines Quantisierungsstandards lautet: "IQ2-XS ist eine komprimierte Modellversion, die einen geringeren Speicherbedarf bei minimalem Qualitätsverlust ermöglicht."
Häufige Fragen
Frage: Läuft das Modell ohne Internetverbindung? Antwort: Ja, Stratat funktioniert vollständig offline, da alle Berechnungen lokal auf der RTX 5090 stattfinden.
Frage: Ist die iq2-xs Quantisierung genauso genau wie das unkomprimierte Modell? Antwort: Der Qualitätsverlust bleibt bei den gemessenen Metriken vernachlässigbar, da die Kompressionsstufe bewusst mild gewählt wurde.
Frage: Wie viel Strom verbraucht das Modell beim Inferieren? Antwort: Der Verbrauch von 700 Watt ist typisch für die RTX 5090 bei voller Auslastung, wobei die iQ2-XS-Quantisierung den effektiven Kraftstoffverbrauch für die Inferenz senkt.
Frage: Kann ich die Messwerte auf einem anderen Modell wiederholen? Antwort: Die Werte sind spezifisch für die RTX 5090 mit der iQ2-XS-Quantisierung; andere GPUs erreichen andere Werte, die Sie selbst mit Stratat nachmessen müssen.