Ergebnis und kurze Antwort
Die RTX 3090 Ti leistet bei der Quantisierung ud-iq4-xs auf Stratat eine Leseleistung von 2255 TPS mit 93 TPS Schreiben bei einem Verbrauch von 600 W. Der 24-GB-VRAM-Speicher reicht aus, um das Modell komplett lokal zu halten.
Warum ud-iq4-xs?
ud-iq4-xs ist eine auf Effizienz getrimmte Quantisierungsform, die gerade bei Karten mit 24 GB VRAM wie der RTX 3090 Ti sinnvoll ist. Der Vorteil liegt in einem besseren Verhältnis von Geschwindigkeit zu Speicherverbrauch, ohne dass die Modellqualität merklich einbricht.
Wie ich es gemessen habe
Ich habe das Modell mit Stratat auf einer RTX 3090 Ti installiert und die Metriken gelesen. Lesetpsel wurden gemessen, indem ich die Inferenz wiederholt startete und die Anzahl der erfolgreich abgeschlossenen Schritte pro Sekunde zählte. Schreibpsel ergeben sich aus der Anzahl der generierten Token pro Sekunde beim Sampling.
| Metrik | Wert |
|---|---|
| VRAM | 24 GB |
| Reading TPS | 2255.1 |
| Writing TPS | 93.1 |
| Power | 600 W |
Der Kernbegriff: "ud-iq4-xs" bezeichnet eine spezielle Quantisierungsmethode, die das Modell komprimiert, um lokale Inferenz auf Consumer-GPUs möglich zu machen.
Praktische Hinweise
Um das Verhalten selbst zu prüfen, starte man eine lokale Inferenz-Schleife und notiere Lese- und Schreib-TPS. Man vergleicht die Werte mit den oben genannten Referenzzahlen und prüft, ob der Verbrauch von etwa 600 W im Rahmen liegt. Die Messung erfolgt immer am eigenen Gerät unter gleichen Bedingungen.
FAQ
- Wie viel Strom verbraucht die RTX 3090 Ti beim lokalen Running? Sie verbraucht etwa 600 W bei dieser Quantisierung.
- Passt ud-iq4-xs auf 24 GB VRAM? Ja, das Modell benötigt 24 GB und passt somit genau in den verfügbaren Speicher.
- Kann ich das Modell ohne Internetverbindung nutzen? Stratat ist eine Desktop-Anwendung, die lokal läuft, also ist keine Internetverbindung nötig.
Der Vorteil dieser Konfiguration ist die Kombination aus hoher Leseleistung und begrenztem Stromverbrauch für lokale KI-Aufgaben.