Kurzfassung und Ergebnis

Die Antwort zuerst: Das Modell mit der Quantisierung ud-iq4-xs läuft stabil auf einer RTX 5070 Ti, passt in die 16 GiB VRAM und liefert Lesegeschwindigkeiten von 2498 Lesetps/s bei Schreibgeschwindigkeit von 71 TPS bei einem Verbrauch von 450 Watt. In Stratat bleibt die Qualität erhalten und die Inferenz ist lokal nutzbar.

Warum und wie funktioniert das Modell?

Stratat lädt das lokale Modell und wendet die Quantisierung ud-iq4-xs an, um Speicher und Rechenzeit zu sparen. Die Metrik zeigt, dass das Modell in den 16 GB VRAM passt und damit auf Standard-Desktop-Hardware läuft. Die Messung wurde mit dem eigenen Reader und Writer gemessen.

MetrikWert
VRAM16 GB
Reading TPS2498.5
Writing TPS71.1
Power450 W

Die Messungen zeigen, dass die UD-Quantisierung die Parameterzahl reduziert, ohne die Lesegeschwindigkeit stark einzubüßen. Der Schreibdurchsatz bleibt bei 71 TPS, was für lokale Textgenerierung ausreicht.

Das Kernkonzept ist Quantisierung: Eine Technik, die Modellgewichte mit niedriger Präzision speichert, um Speicher und Rechenleistung zu sparen. Ons gilt besonders bei lokalen Modellen, die sonst den VRAM sprengen würden.

Praktische Hinweise zum Testen

Um das Ergebnis selbst zu überprüfen, startet ihr Stratat und lädt ein Modell mit der ud-iq4-xs-Quantisierung. Beobachtet die Lese- und Schreib-TPS-Zahlen auf eurer RTX 5070 Ti. Vergleicht die Werte mit den oben genannten 2498,5 und 71,1.