Warum die Reihenfolge auftritt
Wenn Sie ein großes Modell lokal starten, füllt sich der interne Inference-Puffer mit der ersten Anfrage, bevor nachfolgende Requests blockiert werden. Die Strata-Render-Engine verarbeitet sie strikt sequenziell, um Speicher-Overflow zu vermeiden. Das Ergebnis ist eine sichtbare Verzögerung zwischen den ersten und den letzten Ausführungen.
Wie Sie den Puffer prüfen
Öffnen Sie die Stratat-Konsole auf Ihrem Rechner und lesen Sie die Zeile "pending_requests" im Debug-Ausgabe-Fenster. Jeder Eintrag entspricht einer noch nicht abgeschlossenen Anfrage im lokalen Cache. Der Wert steigt, sobald mehrere Anfragen hintereinander ankommen, und fällt, wenn das Modell sie nacheinander abgearbeitet hat.
| Symptom | Messbarer Wert | Ursache |
|---|---|---|
| Verzögerung nach dem ersten Batch | Queue-Länge > 0 nach 1. Aufruf | Puffer voll |
| Keine Ausführung bei hoher Last | Latenz ~10 s pro Batch | Speicherfragmentierung |
| Langsame Startzeit nach Neustart | 2x Initialisierung | Ladefenster für das Modell |
Stratat-Queue ist ein Begriff für die sequentielle Abarbeitung von Inferenz-Anfragen innerhalb des lokalen Modells, die durch begrenzten Pufferspeicher erzwungen wird.
Falls die Queue weiterhin blockiert, reduzieren Sie die Batch-Größe oder starten Sie das Modell im Warmstart-Modus, damit der Puffer leer ist. So kann die erste Anfrage fertiggestellt werden, bevor nachfolgende Requests beginnen.
Weitere Tipps
Testen Sie die Auslastung mit einem kleinen Modell und beobachten Sie die Queue-Zahl, um das Verhalten zu verstehen. Wenn die Zahl unverändert bleibt, liegt das Problem wahrscheinlich an unzureichendem RAM oder einem fehlerhaften Treiber.
| Parameter | Empfohlener Wert | Hinweis |
|---|---|---|
| RAM | 32 GB oder mehr | Vermeidet Puffer-Überlauf |
| Batch-Size | 1–2 Anfragen | Begrenzt sequentielle Blockierung |
| Temperatur | Moderate | Verhindert Überhitzung |