Wir haben selbst gemessen, wie ein lokal laufendes, quantisiertes Modell auf einer RTX 4070 mit 12 GB VRAM unter der Coder-Quantisierung performt. Die Ergebnisse zeigen, dass der Appetit an Rechenleistung für Lesen bei 1376 TPS liegt und beim Schreiben bei 36,9 TPS liegt, während die Leistung bei 350 Watt gemessen wurde.
Warum die Coder-Quantisierung sinnvoll ist
Die Coder-Quantisierung reduziert die Modellgröße und den Speicherbedarf erheblich, sodass größere Modelle auf Geräten mit begrenzter VRAM-Platzierung laufen können. Auf einer RTX 4070 mit 12 GB kommt das Modell gut in den Speicher, weil die Quantisierung die Gewichte komprimiert und den Speicherverbrauch senkt.
Wie wir das Messen gemacht haben
Um die Zahlen zu erhalten, haben wir ein Strata-Client-Programm auf der RTX 4070 installiert und ein lokales Modell mit der Coder-Quantisierung geladen. Danach haben wir wiederholt Lese- und Schreibvorgänge ausgeführt und die TPS-Werte protokolliert. Die Messung war auf dem gleichen System an einem einzigen Lauf durchgeführt, um konsistente Ergebnisse zu erhalten.
| Metrik | Wert |
|---|---|
| vramGb | 12 |
| readingTps | 1376 |
| writingTps | 36.9 |
| powerWatts | 350 |
Coder-Quantisierung definiert als eine Form der Modellkompression, die die Anzahl der Bits reduziert, die zur Darstellung der Modellgewichte nötig sind, um Rechenaufwand und Speicherbedarf zu senken.
Praktische Hinweise zum Betrieb
Um das Ergebnis auf eigener Hardware zu überprüfen, starts man die App, lädt dasselbe Modell mit Coder-Quantisierung und führt eine Werkzeugkette aus. Der Taktwert von 1376 Lesetpsisen pro Sekunde zeigt, dass die Lesegeschwindigkeit gut ist, während die Schreibgeschwindigkeit bei 36,9 TPS bleibt, was für einen lokalen Einsatz akzeptabel ist. Der Verbrauch von 350 Watt ist bei einem Desktop-System mit dieser GPU typisch, aber er lässt sich bei längeren Läufen über die eingebaute Stromverfolgung von Strata nachvollziehen.
Zusammenfassung der Messung
Der Test bestätigt, dass eine Coder-Quantisierung auf einer RTX 4070 mit 12 GB VRAM praktisch nutzbar ist und ein lokales LLM mit vertretbaren Geschwindigkeiten liefert. Die Werte von 1376 Lesetpsisen und 36,9 Schreibeps bei 350 Watt sind die relevanten Kennzahlen für alle, die ein großes Modell ohne Cloud-Betrieb lokal laufen lassen wollen.