Context-Caching reduziert die wiederholte Verarbeitung von System- und Kontext-Blöcken, was die Latenz bei wiederkehrenden Anfragen senkt und die Rechenlast für den Prozessor sowie die GPU verringert. Für Strata-Nutzer bedeutet dies schnellere Antwortzeiten bei Interaktionen mit demselben Modellkontext, ohne die Modellgenauigkeit zu beeinträchtigen.

Warum Context-Caching für lokale Modelle wichtig ist

Wenn Sie ein großes Sprachmodell lokal auf Ihrem Desktop ausführen, müssen die Token im System-Prompt und im bisherigen Chat-Verlauf bei jeder neuen Anfrage erneut berechnet werden. Dies führt zu unnötiger CPU- und GPU-Auslastung. Durch die Caching-Technik wird dieser statische Teil des Kontexts zwischengespeichert. Das Strata-System erkennt diese Wiederholungen und überspringt die Neuberechnung, was die Antwortzeit spürbar verkürzt.

So prüfen und aktivieren Sie Caching in Strata

Um die Effizienz Ihres Strata-Clients zu nutzen, sollten Sie die Einstellungen für das Caching überprüfen. Gehen Sie in die Konfiguration Ihres Strata-Clients und suchen Sie nach den Optionen für Prompt-Caching oder KV-Cache-Optimierung. Stellen Sie sicher, dass Ihr Strata-Engine-Backend diese Funktion unterstützt. Überwachen Sie anschließend die CPU-Auslastung in der Task-Manager-Anzeige von Windows oder Linux, während Sie wiederholt dieselbe System-Abfrage senden. Sie sollten eine Reduktion der Rechenlast bei der zweiten und folgenden Anfragen bemerken.

Kosten- und Leistungseffizienz

Die lokale Ausführung von KI-Modellen kann durch Caching ressourcenschonender werden. Indem weniger Token neu berechnet werden, sinkt der Energieverbrauch pro Anfrage. Bei einem Strompreis von 0,32 €/kWh kann dies bei hohen Nutzungsvolumina relevant sein. Die folgende Tabelle fasst die logischen Auswirkungen zusammen:

KomponenteOhne CachingMit aktiviertem Caching
CPU-AuslastungHoch (volles Durchlaufen)Niedrig (nur neue Token)
AntwortzeitLängerSchneller
EnergieverbrauchHöherGeringer

Kernbegriff

Context-Caching ist eine Optimierungstechnik, bei der die berechneten Zustände von wiederkehrenden Prompt-Teilen gespeichert werden, um deren Neuberechnung bei nachfolgenden Anfragen zu vermeiden.

Häufig gestellte Fragen

  • Was genau wird im Context-Cached gespeichert?

Es werden dieKV-States (Key-Value-States) der Transformer-Schichten für den statischen Teil des Prompts gespeichert, nicht die Textdaten selbst.

  • Funktioniert Caching mit jedem Strata-Modell?

Es hängt von der Unterstützung Ihres Strata-Engines und des verwendeten Modellarchitektur-Backends ab. Prüfen Sie die Dokumentation Ihres Clients.

  • Wie merke ich, dass Caching aktiv ist?

Sie erkennen es an einer schnelleren Ladezeit der Antwort und einer niedrigeren CPU-Auslastung bei wiederholten Anfragen mit gleichem Kontext.