Die AMD Radeon RX 7900 XTX bietet mit der IQ3-XXS-Quantisierung eine hervorragende Balance aus hoher Generierungsgeschwindigkeit und effizientem Speichereinsatz. Mit 75,5 Tokens pro Sekunde bei der Ausgabe und einem VRAM-Verbrauch von 24 GB eignet sich diese Konfiguration ideal für anspruchsvolle lokale KI-Anwendungen auf einem Desktop-PC. Der Stromverbrauch liegt stabil bei 475 Watt, was bei einem Strompreis von 0,32 € pro kWh zu berechnenden Betriebskosten führt.
Leistungsanalyse und Geschwindigkeit
Um die Geschwindigkeit Ihrer eigenen RX 7900 XTX zu überprüfen, müssen Sie die Tokens pro Sekunde (TPS) für das Lesen und Schreiben messen. In diesem Test wurden 1459,3 TPS beim Lesen (Prompt-Verarbeitung) und 75,5 TPS beim Schreiben (Antwort-Generierung) erzielt. Diese Werte zeigen, dass das System Eingaben sehr schnell verarbeitet, die eigentliche Textgenerierung jedoch durch die begrenzte Rechenleistung bei der Quantisierung etwas langsamer ausfällt. Der VRAM von 24 GB reicht aus, um das Modell IQ3-XXs vollständig im Arbeitsspeicher zu halten, ohne auf den langsameren Systemspeicher ausweichen zu müssen.
Stromkosten und Effizienz
Der Stromverbrauch von 475 Watt ist ein wesentlicher Faktor für den Dauerbetrieb. Bei einem durchschnittlichen Strompreis von 0,32 € pro kWh entstehen bei stündlichem Betrieb Kosten von 0,152 €. Für Nutzer in Deutschland ist es wichtig, diese Kosten gegen den Nutzen abzuwägen, insbesondere wenn das Modell über längere Zeiträume läuft. Die Quantisierung IQ3-XXs reduziert die Modellgröße, was die Geschwindigkeit erhöht, aber die GPU trotzdem unter Last betreibt.
Technische Daten im Überblick
Die folgenden Daten basieren auf direkten Messungen der Hardware und der Softwarekonfiguration:
| Metrik | Wert | Bedeutung |
|---|---|---|
| VRAM | 24 GB | Gesamter verfügbarer Videospeicher für das Modell |
| Lesegeschwindigkeit | 1459,3 TPS | Tokens pro Sekunde zur Verarbeitung der Eingabe |
| Schreibgeschwindigkeit | 75,5 TPS | Tokens pro Sekunde zur Generierung der Antwort |
| Stromverbrauch | 475 Watt | Leistungsaufnahme der GPU unter Last |
| Passform | Gut | Kompatibilität und Stabilität der Konfiguration |
Die IQ3-XXS-Quantisierung ist eine Methode zur Reduzierung der Modellgröße, um die Inferenz auf Hardware mit begrenztem Speicher zu ermöglichen, ohne die Genauigkeit drastisch zu beeinträchtigen.