Zum Hauptinhalt springen

Sampling-Steuerung: Temperature & Co.

Fortgeschritten
What you'll learn
  • Was Temperature, top-p, top-k und Stop-Sequenzen bei der Wahl des nächsten Tokens wirklich bewirken
  • Eine Entscheidungstabelle auf einen Blick, wann kalt vs. heiß gefahren wird
  • Warum temperature=0 KEINE identischen Ausgaben garantiert
  • Wie man über Sampling bei neueren Claude-Modellen denkt, die die Regler verbergen

Wenn ein Modell Text generiert, wählt es das nächste Token aus einer Wahrscheinlichkeitsverteilung. Sampling-Steuerungen justieren, wie es wählt — wie fokussiert vs. wie variantenreich die Ausgabe ist.

Die wichtigsten Regler​

Guided walkthrough1 of 4
  1. Skaliert die gesamte Verteilung. Niedrig (≈0) = fokussiert, eher deterministisch, wiederholbar; das Modell nimmt den wahrscheinlichsten Pfad. Hoch = variantenreicher und kreativer, aber anfälliger für Abschweifen oder Fehler.
Pro tip
  • Justiere Temperature ODER top-p, nicht beides — sie greifen ineinander und das kombinierte Verhalten ist schwer nachzuvollziehen.
  • Lass top-k standardmäßig in Ruhe. Es ist ein grobes Werkzeug, das meistens stört.
  • Stop-Sequenzen sind ein toller Sicherheitsgurt für strukturierte Ausgaben — kein nachlaufender Fließtext mehr hinter deinem JSON.

Wann man kalt vs. heiß fahren sollte​

Kalt fahren (niedrige Temp)Heiß fahren (höhere Temp)
Extraktion, Klassifizierung, CodeBrainstorming, Namen, kreative Texte
Alles, was du reproduzierbar haben willstViele Optionen erkunden
Faktische / strukturierte AusgabeTonfall-Vielfalt, Ideenfindung
Bewertung / LLM-as-judgeIdeenfindung für A/B-Texte

Eine gute Voreinstellung für die meiste Arbeit ist moderat bis niedrig (etwa 0–0,4). Drehe sie nur dann hoch, wenn du Überraschung willst.

Ein durchgespieltes Beispiel​

Derselbe Prompt, drei Temperaturen. Illustratives Muster, kein Benchmark:

Prompt

Give me one clever name for a productivity app that helps writers.
  • temp 0 → eine sichere, wiederholbare Wahl wie WordFlow. Nochmal fragen, wieder WordFlow.
  • temp 0.5 → immer noch kohärent, mehr Vielfalt zwischen Läufen: Draftly, Inkline, Composera.
  • temp 1.0 → kreativ, aber lauter: Quillspark, Verbatimo, gelegentlich ein schiefes Wort.

Die Lektion: Dreh Temperature nur dort hoch, wo Vielfalt der Sinn der Aufgabe ist.

Neuere Claude-Modelle verbergen diese​

Mehrere aktuelle Claude-Modelle passen ihr eigenes Decoding an und stellen Temperature in den Hintergrund (oder lassen sie weg). Wenn ein Regler nicht verfügbar ist, ist das so beabsichtigt — forme das Verhalten stattdessen über den Prompt und (wo angeboten) über die Effort/Thinking-Einstellung. Prompt-Klarheit und Rollen-Framing leisten bei modernen Modellen mehr Arbeit als Sampling-Regler.

Determinismus-Vorbehalt​

Selbst bei Temperature 0 sind Ausgaben über Durchläufe, Modellversionen oder Anbieter hinweg nicht garantiert bit-identisch. Gründe:

  • Batching und Fließkomma-Nichtdeterminismus auf Serverseite.
  • Stille Modell-Updates hinter einem Alias.
  • Kleine Eingabeunterschiede (ein versehentliches Leerzeichen, ein anderer Tokenizer).

Verlasse dich nicht auf exakte Reproduzierbarkeit. Verlasse dich auf Evals, um Drift zu erkennen, wenn es zählt.

Häufige Fehler​

Pro tip
  • Temperature hochdrehen, um eine schlechte Ausgabe zu retten — der Fix liegt fast immer im Prompt, nicht im Sampler.
  • top-p und Temperature mischen — nimm einen Regler und lass den anderen auf Default, damit Änderungen nachvollziehbar bleiben.
  • Annehmen, temp=0 sei deterministisch — ist es nicht. Nutze Evals statt Gleichheitsprüfungen, um Regressionen zu erkennen.
  • Stop-Sequenzen auf Fließtext anwenden — super für JSON-Trennzeichen, unpassend für freien Text, wo das Modell die Zeichenkette legitim erzeugen könnte.

Teste dich selbst​

Teste dich selbst

0/4
  1. Du musst Felder aus einer Rechnung zuverlässig extrahieren. Welche Temperature-Einstellung?
  2. Welches Regler-Paar solltest du generell NICHT zusammen justieren?
  3. Du setzt temperature=0 und bekommst leicht unterschiedliche Ausgaben in zwei Läufen. Was ist die wahrscheinlichste Ursache?
  4. Bei einem neueren Claude-Modell, das den Temperature-Regler nicht bereitstellt — wie formst du das Verhalten?
Key takeaways
  • Temperature ist der Hauptregler; top-p ist die Alternative; top-k und Stop-Sequenzen sind situativ.
  • Kalt für Extraktion, Code und Bewertung; heiß für Brainstorming und kreative Texte.
  • Justiere immer nur einen Zufälligkeitsregler — Temperature ODER top-p.
  • Temp 0 ≠ deterministisch. Verlass dich auf Evals, nicht auf Gleichheit, um Verhaltens-Drift zu erkennen.
  • Bei neueren Claude-Modellen ersetzen Prompt + Effort/Thinking die Sampling-Regler.

Weiter​