Das Context-Window definiert die maximale Menge an Text, die ein lokales LLM auf einmal verarbeiten kann, ohne Informationen zu vergessen oder die Leistung drastisch zu beeinträchtigen. Es ist der entscheidende Engpass für die Qualität Ihrer Ergebnisse und die direkten Hardwarekosten auf Ihrem Rechner.
Was ist das Context-Window?
Stellen Sie sich den Arbeitsspeicher (RAM) Ihres Computers wie einen physischen Schreibtisch vor. Das Context-Window legt fest, wie viele Blätter Papier Sie gleichzeitig darauf legen können, um sie zu lesen und zu bearbeiten. Wenn Sie mehr Blätter haben, als der Schreibtisch fasst, müssen Sie entweder einen größeren Schreibtisch kaufen (mehr RAM) oder weniger Blätter auf einmal bearbeiten (kürzere Kontexte). In der Welt der lokalen KI bedeutet dies, dass die Länge Ihrer Eingabe (Prompt) und die erwartete Antwort zusammen eine harte Grenze haben, die durch die Speicherkapazität Ihrer Grafikkarte (VRAM) oder des Systemspeichers (RAM) diktiert wird.
Warum ist die Größe so wichtig?
Ein kleines Context-Window, etwa 2.048 Tokens, ist wie ein Kurzzeitgedächtnis. Das Modell kann eine einfache Frage beantworten, verliert aber den Faden, sobald der Text länger wird. Ein großes Context-Window, wie 32.768 Tokens, ermöglicht es dem Modell, lange Dokumente zu lesen, Zusammenfassungen zu erstellen oder komplexe Codebasen zu analysieren, indem es den gesamten relevanten Text im Fokus behält. Für den Stratat-Anwender in Deutschland ist dies besonders relevant, da längere Kontexte nicht nur mehr Speicher, sondern auch mehr Rechenzeit und damit höhere Stromkosten bedeuten.
Kosten und Hardware-Anforderungen
Die Kosten für die Nutzung entstehen durch den Stromverbrauch und die Hardware-Abnutzung. Da wir in Deutschland mit einem realistischen Strompreis von 0,32 € pro kWh rechnen, summieren sich die Kosten für lange Berechnungen schnell. Die folgende Tabelle zeigt, wie sich die Hardware-Anforderungen und geschätzten Kosten pro 1.000 Tokens (Input) auf die Context-Größe auswirken. Diese Werte basieren auf typischen Lasten für lokale Inferenz-Engines.
| Kontextlänge (Tokens) | Benötigter RAM/VRAM (ca.) | Geschätzte Kosten pro 1k Tokens (Input) |
|---|---|---|
| 2.048 | 8 GB | 0,05 € |
| 8.192 | 16 GB | 0,18 € |
| 32.768 | 32 GB+ | 0,65 € |
Messen Sie Ihre eigenen Werte
Um die tatsächlichen Auswirkungen auf Ihren Stratat-Client zu verstehen, sollten Sie eigene Benchmarks durchführen. Nutzen Sie die integrierten Statistiken in der App, um zu sehen, wie lange die Inferenz bei verschiedenen Längen dauert. Vergleichen Sie die Latenz zwischen einem kurzen Prompt und einem langen. Achten Sie darauf, ob Ihr System in den Swap-Speicher ausweicht, was die Leistung massiv drosselt. Nur so finden Sie die optimale Balance zwischen Qualität und Geschwindigkeit für Ihre spezifische Hardware.
Das Context-Window ist die maximale Token-Anzahl, die ein Modell in einem einzigen Durchlauf verarbeiten kann, wobei jede Token-Erweiterung den Speicherbedarf und die Rechenkosten linear erhöht.