Zunächst öffnet man den Stratat-Client auf dem Desktop und installiert die neueste Version. Dann wählt man im Client-Menü den gewünschten lokal gespeicherten LLM-Strang und setzt die Kontextgröße auf 128k Zeichen. Der Client prüft vor dem Laden, ob genügend Arbeitsspeicher und CPU-Zeit vorhanden sind.

Warum 128k?

Der Strata-Engine nutzt einen großen Kontextfenster-Ansatz, der es dem Modell erlaubt, über 128.000 Token hinweg zusammenhängende Informationen zu behalten. Das ist wichtig für lange Dokumente, Chat-History oder komplexe Programmieraufgaben. Ohne lokale Berechnung spart man Latenz und Datenverlust.

Wie lädt man das Modell?

  1. Auf der Festplatte die Modell-Datei herunterladen (lokal, keine Cloud). 2. Im Stratat-Client unter "Modelle verwalten" die Datei auswählen. 3. In den Einstellungen die Kontextgröße auf 128k setzen. 4. Den Start-Button drücken – der Client baut den Ladevorgang auf der CPU durch und startet das inference.

Theorie: Das Modell arbeitet vollständig offline. Die Rechenlast verteilt sich auf den Prozessor; die Genauigkeit bleibt unverändert gegenüber einer Cloud-Version derselben Modellklasse.

A core term: Kontextfenster ist die maximale Anzahl von Token, die ein Modell gleichzeitig verarbeiten kann. Auf Deutsch meist Kontextfenster oder Kontextgröße. Das wird bei 128k besonders deutlich, weil das Modell lange Gespräche oder Dokumente ohne Unterbrechung im Speicher hält.

AspektWert
Kontextgröße128k Token
Lokaler Speicherort~/.strat/models/ lokal
Geschätzte Latenz (lokal)abhängig vom Prozessor

Stratat bietet eine einfache Benutzeroberfläche, um diese Schritte nachzuvollziehen. Man braucht kein Internet, und die Privatsphäre bleibt gewahrt, weil alle Berechnungen auf dem eigenen Rechner bleiben. Die Stromkosten für so ein lokales Modell betragen etwa 0,32 €/kWh für den Verbrauch des Rechners während der Nutzungszeit. Man kann den Stromverbrauch am Energieverbrauchsmesser des Rechners ablesen.

Messen und Prüfen

Nach dem Start prüft man mit dem System-Task-Manager, wie viel CPU-Zeit das Modell beansprucht. Man notiert die verbrauchte Zeit und rechnet daraus die Kosten: z. B. 2 Stunden bei 150 W Einsatzstrom ergibt 0,30 kWh – das kostet rund 0,096 € bei 0,32 €/kWh.

MesstechnikErgebnis
CPU-Last während Inferenceca. 60–80 %
RAM-Belegung8–12 GB je nach Modell
Stundenkosten (0,32 €/kWh)ca. 0,10–0,15 € pro Stunde

Die Kosten bleiben realistisch, weil das Modell vollständig lokal läuft. Es gibt keinen Cloud-Abo-Preis, nur den Strompreis.

Tipps für beste Ergebnisse

  • Verwenden Sie einen kühlen Raum, damit der Prozessor nicht thermal throttling erleidet.
  • Wählen Sie ein Modell mit komprimierter Architektur für weniger Daten-Overhead.
  • Nutzen Sie die integrierten Tools von Stratat, um den Kontextverlauf manuell zu überprüfen.

Häufige Fragen

  • Wie vermeide ich, dass das Kontextfenster vollläuft? Stellen Sie sicher, dass Sie alte Chats oder Dokumente vor dem Ende des Fensters schließen. Stratat zeigt eine ECA-Nachricht, wenn das Fenster nahe dem Limit ist.
  • Kann ich 128k auch auf schwächeren Rechnern nutzen? Nur mit ausreichend RAM (mindestens 8 GB) und einem modernen Prozessor. Bei weniger Leistung sinkt die Geschwindigkeit erheblich.
  • Muss ich die Modelldatei selbst herunterladen? Ja – der Download erfolgt lokal, ohne Internetverbindung nach dem ersten Male.
FrageAntwort
Was brauche ich für 128k lokal?Rechner mit mindestens 8 GB RAM und einem Prozessor, der die Stratat-Engine unterstützt
Wie viel kostet das Modell?**Kein Abo, nur Stromkosten
Ist die Qualität schlechter als bei Cloud?**Nein, die Qualität bleibt bei gleicher Modellklasse unverändert

Stratat macht lokales Rechnen einfach. Man installiert, wählt das Modell, setzt den Kontext auf 128k und beginnt zu arbeiten. Alles läuft offline, datenschutzfreundlich und mit kalkulierbaren Stromkosten. Die Illustration zeigt abstrakte Geometrie in dunkelblauer und türkis-Ton-Farben, ohne Text oder Buchstaben, formatiert im 16:9 Seitenverhältnis.