Temperature (LLM Temperature)
Hyperparameter zur Steuerung von Kreativität vs. Determinismus bei LLM-Outputs.
Definition
Temperature ist ein Hyperparameter (typischerweise 0.0-2.0), der steuert, wie kreativ oder deterministisch ein Large Language Model generiert. Niedrige Temperature (0.0-0.3) führt zu vorhersehbaren, konsistenten, faktischen Outputs. Hohe Temperature (0.7-2.0) führt zu kreativen, variablen, manchmal überraschenden Outputs.
Warum das wichtig ist
Die richtige Temperature-Einstellung ist kritisch für LLM-Erfolg. Falsche Settings führen zu: Temperature zu hoch für Fakten-Tasks → Hallucinations, Inkonsistenz. Temperature zu niedrig für kreative Tasks → repetitive, generische Outputs. Temperature ist der wichtigste Tuning-Parameter neben dem Prompt selbst.
Vidasus-Kontext
Praxis-Beispiel
Ein SaaS-Unternehmen nutzte GPT-4 für Produktbeschreibungen. Initial: Temperature 1.0 → Outputs waren kreativ, aber inkonsistent (Tonalität wechselte). Lösung: Temperature 0.5 → Balance zwischen Kreativität und Konsistenz. Ergebnis: Markenkonsistente, aber nicht repetitive Beschreibungen.
Technische Details
Technisch: Temperature steuert Wahrscheinlichkeitsverteilung der nächsten Token-Auswahl. Temperature 0.0 = Immer höchst-wahrscheinlichstes Token (deterministisch). Temperature 1.0 = Sampling proportional zu Wahrscheinlichkeiten (balanced). Temperature 2.0 = Flachere Verteilung (mehr Überraschung).
Die Säulen
- Temperature 0.0-0.3 – Fakten, Klassifikation, Extraktion
- Temperature 0.3-0.7 – Analyse, Zusammenfassungen, moderate Kreativität
- Temperature 0.7-1.0 – Content-Generierung, Brainstorming
- Temperature 1.0-2.0 – Hochkreative Tasks, Poetry, Experimente