Die Temperatur ist der entscheidende Parameter, um die Zufälligkeit der Token-Auswahl beim Generieren von Texten zu steuern. Sie bestimmt direkt, ob Ihre lokale KI eher präzise und deterministisch antwortet oder kreative, unkonventionelle Variationen liefert. Eine präzise Einstellung dieses Werts ermöglicht es Ihnen, die Ausgabequalität exakt an Ihre Anforderungen anzupassen, ohne die Hardware zu belasten.
Wie die Temperatur die Token-Auswahl beeinflusst
In jedem lokalen LLM, das Sie über die Stratat-Engine ausführen, berechnet das Modell für das nächste zu generierende Token eine Wahrscheinlichkeitsverteilung. Die Temperatur skaliert diese Rohwerte. Bei einem sehr niedrigen Wert werden die wahrscheinlichsten Tokens fast ausschließlich ausgewählt, was zu sehr vorhersehbaren, oft aber auch repetitiven Ergebnissen führt. Je höher der Temperaturwert, desto flacher wird die Verteilung, wodurch auch weniger wahrscheinliche Tokens eine Chance erhalten. Dies erhöht die Überraschungsfaktoren im Text, kann aber auch die logische Konsistenz mindern.
Praxis: Einstellung und Kontrolle auf Ihrem Rechner
Sie müssen keine Benchmarks im Internet suchen, um den besten Wert für Ihr Setup zu finden. Testen Sie stattdessen dieselbe Eingabeaufforderung (Prompt) mit unterschiedlichen Temperaturwerten in Ihrer Stratat-Anwendung. Beginnen Sie mit einem Standardwert wie 0,7 und steigern Sie ihn schrittweise, um mehr Kreativität zu fördern, oder senken Sie ihn auf 0,2, um strikte Faktenwiedergabe zu erzwingen. Beobachten Sie dabei, wie sich die Varianz der Antworten verhält. Da keine externen Benchmarks für Ihre spezifische Hardware vorliegen, ist Ihre eigene Wahrnehmung das einzige Maß für Erfolg. Nutzen Sie diese Methode, um das optimale Gleichgewicht zwischen Genauigkeit und Flexibilität für Ihren spezifischen Use-Case zu finden.
| Temperaturbereich | Verhalten des Modells | Empfohlener Einsatz |
|---|---|---|
| Niedrig (0,0 - 0,3) | Sehr deterministisch, hohe Wiederholungsgefahr | Technische Anleitungen, Code, Fakten |
| Mittel (0,5 - 0,8) | Ausgewogenes Verhältnis von Logik und Kreativität | E-Mail-Entwürfe, Zusammenfassungen |
| Hoch (0,9 - 1,2) | Hohe Zufälligkeit, unkonventionelle Ideen | Brainstorming, kreatives Schreiben |
Die Temperatur ist ein numerischer Hyperparameter, der die Schärfe der Wahrscheinlichkeitsverteilung der Token-Ausgabe steuert, um das Niveau der Zufälligkeit oder Kreativität in den generierten Texten zu regulieren.