Die AMD Radeon RX 7900 XTX bietet mit der IQ3-XXS-Quantisierung eine hervorragende Balance aus hoher Generierungsgeschwindigkeit und effizientem Speichereinsatz. Mit 75,5 Tokens pro Sekunde bei der Ausgabe und einem VRAM-Verbrauch von 24 GB eignet sich diese Konfiguration ideal für anspruchsvolle lokale KI-Anwendungen auf einem Desktop-PC. Der Stromverbrauch liegt stabil bei 475 Watt, was bei einem Strompreis von 0,32 € pro kWh zu berechnenden Betriebskosten führt.

Leistungsanalyse und Geschwindigkeit

Um die Geschwindigkeit Ihrer eigenen RX 7900 XTX zu überprüfen, müssen Sie die Tokens pro Sekunde (TPS) für das Lesen und Schreiben messen. In diesem Test wurden 1459,3 TPS beim Lesen (Prompt-Verarbeitung) und 75,5 TPS beim Schreiben (Antwort-Generierung) erzielt. Diese Werte zeigen, dass das System Eingaben sehr schnell verarbeitet, die eigentliche Textgenerierung jedoch durch die begrenzte Rechenleistung bei der Quantisierung etwas langsamer ausfällt. Der VRAM von 24 GB reicht aus, um das Modell IQ3-XXs vollständig im Arbeitsspeicher zu halten, ohne auf den langsameren Systemspeicher ausweichen zu müssen.

Stromkosten und Effizienz

Der Stromverbrauch von 475 Watt ist ein wesentlicher Faktor für den Dauerbetrieb. Bei einem durchschnittlichen Strompreis von 0,32 € pro kWh entstehen bei stündlichem Betrieb Kosten von 0,152 €. Für Nutzer in Deutschland ist es wichtig, diese Kosten gegen den Nutzen abzuwägen, insbesondere wenn das Modell über längere Zeiträume läuft. Die Quantisierung IQ3-XXs reduziert die Modellgröße, was die Geschwindigkeit erhöht, aber die GPU trotzdem unter Last betreibt.

Technische Daten im Überblick

Die folgenden Daten basieren auf direkten Messungen der Hardware und der Softwarekonfiguration:

MetrikWertBedeutung
VRAM24 GBGesamter verfügbarer Videospeicher für das Modell
Lesegeschwindigkeit1459,3 TPSTokens pro Sekunde zur Verarbeitung der Eingabe
Schreibgeschwindigkeit75,5 TPSTokens pro Sekunde zur Generierung der Antwort
Stromverbrauch475 WattLeistungsaufnahme der GPU unter Last
PassformGutKompatibilität und Stabilität der Konfiguration

Die IQ3-XXS-Quantisierung ist eine Methode zur Reduzierung der Modellgröße, um die Inferenz auf Hardware mit begrenztem Speicher zu ermöglichen, ohne die Genauigkeit drastisch zu beeinträchtigen.