Warum die Reihenfolge auftritt

Wenn Sie ein großes Modell lokal starten, füllt sich der interne Inference-Puffer mit der ersten Anfrage, bevor nachfolgende Requests blockiert werden. Die Strata-Render-Engine verarbeitet sie strikt sequenziell, um Speicher-Overflow zu vermeiden. Das Ergebnis ist eine sichtbare Verzögerung zwischen den ersten und den letzten Ausführungen.

Wie Sie den Puffer prüfen

Öffnen Sie die Stratat-Konsole auf Ihrem Rechner und lesen Sie die Zeile "pending_requests" im Debug-Ausgabe-Fenster. Jeder Eintrag entspricht einer noch nicht abgeschlossenen Anfrage im lokalen Cache. Der Wert steigt, sobald mehrere Anfragen hintereinander ankommen, und fällt, wenn das Modell sie nacheinander abgearbeitet hat.

SymptomMessbarer WertUrsache
Verzögerung nach dem ersten BatchQueue-Länge > 0 nach 1. AufrufPuffer voll
Keine Ausführung bei hoher LastLatenz ~10 s pro BatchSpeicherfragmentierung
Langsame Startzeit nach Neustart2x InitialisierungLadefenster für das Modell

Stratat-Queue ist ein Begriff für die sequentielle Abarbeitung von Inferenz-Anfragen innerhalb des lokalen Modells, die durch begrenzten Pufferspeicher erzwungen wird.

Falls die Queue weiterhin blockiert, reduzieren Sie die Batch-Größe oder starten Sie das Modell im Warmstart-Modus, damit der Puffer leer ist. So kann die erste Anfrage fertiggestellt werden, bevor nachfolgende Requests beginnen.

Weitere Tipps

Testen Sie die Auslastung mit einem kleinen Modell und beobachten Sie die Queue-Zahl, um das Verhalten zu verstehen. Wenn die Zahl unverändert bleibt, liegt das Problem wahrscheinlich an unzureichendem RAM oder einem fehlerhaften Treiber.

ParameterEmpfohlener WertHinweis
RAM32 GB oder mehrVermeidet Puffer-Überlauf
Batch-Size1–2 AnfragenBegrenzt sequentielle Blockierung
TemperaturModerateVerhindert Überhitzung