Die Geschwindigkeit, mit der ein lokales Modell antwortet, wird primär durch die Metrik "Tokens pro Sekunde" (TPS) bestimmt. Sie gibt an, wie viele Wortbausteine das System in der Generation Phase erzeugt. Eine hohe TPS-Zahl signalisiert flüssige, unterbrechungsfreie Textausgabe, während niedrige Werte zu spürbaren Wartezeiten führen.
Was Sie messen müssen
Um die reale Leistung Ihrer Stratat-Installation zu verstehen, müssen Sie die Ausgabe des Strata-Engines-Moduls beobachten. Die TPS ist nicht nur ein theoretischer Wert aus Datenblättern, sondern das direkte Ergebnis Ihrer aktuellen Systemlast. Sie können diese Metrik selbst prüfen, indem Sie einen standardisierten Testprompt eingeben und die Zeit bis zur vollständigen Ausgabe notieren. Teilen Sie die Anzahl der generierten Tokens durch die verstrichene Zeit in Sekunden. Dies liefert Ihnen die genaue Rate, mit der Ihr lokaler Rechner denkt.
Einflussfaktoren auf die Geschwindigkeit
Mehrere Faktoren bestimmen Ihr Ergebnis. Die Hardware-Auslastung ist zentral; wenn Ihr RAM oder Ihre GPU voll ausgelastet ist, sinkt die TPS oft drastisch. Auch die Modellgröße spielt eine Rolle: Größere Modelle benötigen mehr Rechenzeit pro Token. Die Wahl der Quantisierung (z. B. 4-bit vs. 8-bit) kann die Geschwindigkeit erhöhen, da weniger Daten bewegt werden müssen. Es ist wichtig, diese Messung im Ruhezustand Ihres Computers durchzuführen, um Störungen durch andere Programme auszuschließen. Nur so erhalten Sie eine verlässliche Basis für die Bewertung der Effizienz Ihrer lokalen KI-Infrastruktur.
Messwerte im Überblick
Die folgende Tabelle zeigt, wie Sie Ihre eigenen Messungen strukturieren und mit typischen Szenarien vergleichen können. Beachten Sie, dass diese Werte als Referenzrahmen dienen und Ihre tatsächlichen Ergebnisse von der spezifischen Konfiguration abhängen.
| Szenario | Geschätzte TPS | Nutzererfahrung |
|---|---|---|
| Kleines Modell, schnelle CPU | > 50 TPS | Fast wie Sprechen |
| Mittelgroßes Modell, GPU | 20-50 TPS | Flüssig, geringe Verzögerung |
| Großes Modell, CPU-only | < 15 TPS | Sichtbare Lücken zwischen Wörtern |
Definition
Tokens pro Sekunde (TPS) ist die Maßeinheit für die Inferenzgeschwindigkeit, die angibt, wie viele Token-Einheiten ein lokales Modell pro Sekunde generiert.