Open-Weights sind das Standardformat, um die Modellgewichte von großen Sprachmodellen öffentlich zugänglich zu machen, ohne den gesamten Trainingsprozess oder die Quelldaten preiszugeben. Dieser Ansatz ermöglicht es Nutzern, die Modelle lokal auf ihrer eigenen Hardware auszuführen, was maximale Privatsphäre und Unabhängigkeit von externen Dienstanbietern gewährleistet.

Was sind Open-Weights?

Der Begriff Open-Weights beschreibt einen Zustand, in dem nur die trainierten Parameter (Gewichte) eines neuronalen Netzwerks veröffentlicht werden. Im Gegensatz zu Open-Source-Projekten, bei denen der gesamte Code, die Trainingsdaten und die Architekturen offenliegen, bleibt das eigentliche Training oft proprietär. Dies ist ein pragmatischer Kompromiss, der die Weiterverwendung der Modelle erlaubt, während das geistige Eigentum der ursprünglichen Ersteller geschützt wird. Für den Endnutzer ist das entscheidend, da er so die Integrität des Modells überprüfen kann, ohne den komplexen Trainingshintergrund zu verstehen.

Wie prüfen Sie die Gewichte?

Um sicherzustellen, dass die Gewichte authentisch sind, sollten Sie immer die Hashes der heruntergeladenen Dateien mit den auf der offiziellen Modellseite veröffentlichten Werten vergleichen. Sie können dies einfach über die Kommandozeile Ihres Betriebssystems tun, indem Sie den SHA-256-Hash berechnen. Dies verhindert, dass modifizierte oder schädliche Versionen auf Ihrem System geladen werden. Da die Stratat-Engine diese Modelle lokal ausführt, sind Sie nicht auf die Infrastruktur von Drittanbietern angewiesen. Sie laden die Gewichte direkt auf Ihre Festplatte und starten die Inferenz lokal. Das bedeutet, dass keine Daten den Computer verlassen, solange Sie keine expliziten Netzwerkfunktionen nutzen.

Kosten und Ressourcen

Die Ausführung lokaler Modelle erfordert Rechenleistung. Die Kosten hängen stark von der Effizienz des Modells und der Hardware ab. Bei einem Strompreis von 0,32 €/kWh in Deutschland können Sie die Betriebskosten selbst berechnen. Hier sind typische Szenarien für den lokalen Betrieb:

ModellgrößeGeschätzte RAM/VRAM AuslastungGeschätzte Inferenzzeit (Token/s)Geschätzte Stromkosten pro Stunde (ca.)
7 Milliarden Parameter8 GB20-400,15 € - 0,25 €
13 Milliarden Parameter16 GB10-200,25 € - 0,45 €

Open-Weights sind die freigegebenen trainierten Parameter eines Modells, die es Nutzern ermöglichen, das Modell lokal auszuführen, ohne den zugrunde liegenden Code oder die Trainingsdaten zu besitzen.