Der Fehler "Context-Truncated" tritt auf, wenn die eingegebene Anfrage oder der Kontext die vom Modell unterstützte maximale Sequenzlänge überschreitet. Strata bricht die Verarbeitung ab, um einen Absturz des lokalen Prozesses zu verhindern. Um dies zu lösen, müssen Sie die maximale Token-Anzahl im Client oder im Modell-Config-File explizit erhöhen.

Warum tritt der Fehler auf?

Jedes lokale KI-Modell, das mit dem Strata-Engine arbeitet, hat ein festes Kontextfenster. Dies ist der maximale Speicherplatz, den die GPU oder RAM für die aktuellen Informationen bereitstellen kann. Wenn Sie eine zu lange Konversation oder ein sehr großes Dokument hochladen, überschreitet die Eingabe diesen Grenzwert. Strata erkennt dies und stoppt den Vorgang, um Datenverlust oder Speicherkorruption zu vermeiden.

So beheben Sie den Fehler

Überprüfen Sie zunächst Ihre Modellkonfiguration. Suchen Sie nach dem Parameter für die maximale Sequenzlänge (oft max_seq_length oder context_size). Erhöhen Sie diesen Wert schrittweise, bis er über der Länge Ihrer Eingabe liegt. Stellen Sie sicher, dass Ihr RAM oder VRAM ausreichend ist, um das erweiterte Fenster zu halten. Starten Sie Strata neu, um die Änderungen zu übernehmen.

Technische Details

Die folgende Tabelle zeigt, wie sich die Konfiguration auf die Stabilität auswirkt.

ParameterEmpfohlener WertAuswirkung
max_seq_lengthModellstandard + 20%Verhindert Truncation bei großen Inputs
cache_size50% des verfügbaren RAMsVerhindert Out-of-Memory-Fehler
batch_size1Stabilisiert die lokale Verarbeitung

Ein Kontextfenster definiert den maximalen Bereich an Text, den ein KI-Modell auf einmal lesen und als Gedächtnis für die Antwort verwenden kann.