Zum Hauptinhalt springen

Ist das Modell generft? Wie man es wirklich feststellt

Fortgeschritten

Am 29. September 2026 war die Top-Claude-Story auf Hacker News kein Launch. Es war LiveNerf, ein Repository, dessen ganzer Zweck darin besteht, eine einzige Frage zu beantworten — Wurde Claude Opus 5.5 schon generft? — mit 745 Punkten und 306 Kommentaren. Sieben Tage nach dem Release eines Flaggschiff-Modells dreht sich das am intensivsten geführte Gespräch der Community darüber um die Frage, ob es bereits stillschweigend verschlechtert wurde.

Diese Frage ist älter als jedes aktuelle Modell und sie löst sich nie auf, weil fast alle, die darüber streiten, aus dem Gedächtnis argumentieren. Die nützliche Version der Frage ist enger und beantwortbar: was genau darf sich zwischen dem Modell, das du letzten Dienstag benutzt hast, und dem Modell, das du jetzt benutzt, verändern — und woran würdest du erkennen, welches von beidem sich bewegt hat?

What you'll learn
  • Die eine Sache kennen, die sich in der Claude API nicht stillschweigend ändern kann — und warum die Antwort auf claude.ai anders lautet
  • Die sieben Mechanismen erkennen, die die Ausgabequalität tatsächlich ohne jedes neue Modell verändern
  • Verstehen, warum das am häufigsten zitierte Ergebnis „das Modell ist dümmer geworden“ ein Fehler im Eval-Design war und kein Fähigkeitsverlust
  • Eine Messung durchführen, die einen Einbruch von 3 Punkten wirklich erkennen könnte — mit gepaartem Design und Kontrollarm
  • Einen schlechten Tag in zehn Minuten triagieren, bevor du irgendetwas schlussfolgerst

Die eine Sache, die sich nicht ändern kann​

Fang mit der Behauptung an, von der das ganze Argument abhängt: Sie haben die Gewichte gegen eine billigere, quantisierte Version getauscht und es niemandem gesagt.

In der Claude API ist das für die aktuelle Modellreihe nichts, was passieren kann — und der Grund ist eine Versionierungsentscheidung, kein Versprechen über Absichten. Aus Anthropics Modellübersicht:

Jede Claude-Modell-ID ist ein fixierter Snapshot, einschließlich der datumslosen IDs, die ab der 4.6-Generation verwendet werden.

Dieser Satz lässt sich leicht überlesen und er ist das ganze Spiel. Historisch war claude-opus-4-5 ein Alias, der auf einen datierten Snapshot wie claude-opus-4-5-20251101 auflöste — Aliase wandern, Snapshots nicht. Ab der 4.6-Generation ist die datumslose ID selbst der Snapshot. claude-opus-5-5 ist kein Zeiger auf das, was Anthropic diese Woche ausliefert; es ist ein eingefrorenes Artefakt mit einem veröffentlichten Abkündigungsdatum (nicht früher als 22. September 2027).

Wenn du also die API mit einer aktuellen Modell-ID aufrufst, ist „sie haben das Modell geändert“ die eine Hypothese, die du ohne jede Messung ausschließen kannst. Was nützlich ist, denn es erzwingt die interessante Frage: was hat sich dann geändert?

Watch out

Das ist eine Aussage über Gewichte, nicht über das Serving. Ein eingefrorenes Modell, das über einen kaputten Inferenz-Stack ausgeliefert wird, produziert schlechtere Ausgaben als dasselbe eingefrorene Modell, korrekt ausgeliefert — und das ist nachweislich passiert. Siehe Mechanismus 4 weiter unten.

Sieben Dinge, die sich ohne neues Modell ändern​

#Was sich bewegtWo es giltFür dich sichtbar?
1Der Produkt-System-Promptclaude.ai, iOS-/Android-Apps — nicht die APIJa, veröffentlicht
2Denktiefe (adaptives Thinking + effort)API, Claude Code, AppsTeilweise
3Modellwechsel auf Harness-EbeneClaude Code, jeder Client mit FallbacksManchmal
4Bugs im Serving-StackAllesNein — bis zum Postmortem
5Laufende IncidentsAllesJa, Statusseite
6Gesprächslänge und CompactionAllesSelten
7Deine eigenen Prompts und AufgabenDuFast nie

1. Der Produkt-System-Prompt wird aktualisiert, die API nicht​

Anthropic veröffentlicht den System-Prompt, den claude.ai und die Mobile-Apps jedem Gespräch voranstellen, mit datierten Einträgen pro Modell, und stellt unmissverständlich fest:

Dieser Prompt wird regelmäßig aktualisiert, um Claudes Antworten zu verbessern. Diese System-Prompt-Updates gelten nicht für die Claude API.

Das ist die am stärksten unterschätzte Tatsache im Nerf-Diskurs. Das gleiche eingefrorene Modell kann sich auf claude.ai diese Woche messbar anders verhalten als letzte Woche, weil sich der mehrere Tausend Token lange Instruktionsblock vor deiner Nachricht geändert hat — und nichts davon erreicht einen API-Aufrufer. Es bedeutet auch, dass die beiden Gruppen, die auf Reddit miteinander streiten, oft gar nicht dasselbe System benutzen: die eine Gruppe ist auf einer Produktoberfläche, auf der sich das Framing bewegt, die andere an einem rohen Endpunkt, an dem es das nicht tut.

Wenn du wissen willst, ob die App anders geworden ist, sind die Release Notes die primäre Quelle, nicht dein Gedächtnis.

2. Adaptives Thinking heißt: derselbe Prompt bekommt nicht denselben Aufwand​

In der aktuellen Modellreihe ist Thinking adaptiv: das Modell entscheidet selbst, wie viel es nachdenkt, gesteuert von einem effort-Parameter. Das ist eine echte, dokumentierte Quelle von Varianz zwischen Läufen, die es in der Ära fixer Budgets nicht gab.

Die Defaults sind außerdem nicht einheitlich, und sie haben sich verschoben:

ModellDefault-EffortThinking
Claude Fable 5.1highAdaptiv, immer an
Claude Opus 5.5mediumAdaptiv, immer an
Claude Sonnet 5.5highAdaptiv
Claude Haiku 4.5nicht unterstütztExtended

Anthropics eigener Hinweis lautet, dass Opus 5.5 auf medium so kalibriert ist, dass es Opus 5 auf high entspricht. Schleppe eine Konfiguration von einem älteren Modell weiter, ohne das nachzulesen, und du landest bei weniger Nachdenken als vorher, auf einem neueren und nominell besseren Modell — und nimmst korrekt wahr, dass „es fauler geworden ist“. Nichts wurde generft. Ein Enum bedeutete etwas anderes.

Claude Code fügt eine breitere Leiter hinzu — low, medium, high, xhigh, max, ultracode — einstellbar pro Sitzung, pro Modell, und überschreibbar durch Skill- und Subagent-Frontmatter. Ein Skill, den du letzten Monat installiert hast, kann still den Effort jedes Laufs begrenzen, den er berührt.

3. Dein Harness tauscht Modelle hinter deinem Rücken​

Das ist der Mechanismus, der am häufigsten ein echtes „es ist mitten in der Sitzung dümmer geworden“ produziert, und er hat nichts mit dem Modell zu tun.

Claude Code hat drei unabhängige Wechselmechanismen:

  • Fallback beim Nutzungslimit. Erreiche das Opus-Limit und die Sitzung läuft auf Sonnet weiter. Nutzer haben Issues eingereicht, die verlangen, dass es anhält statt herunterzuschalten — genau weil der Abfall gespürt wird, bevor er gelesen wird.
  • Fallback-Ketten bei Fehlern. --fallback-model sonnet,haiku oder ein fallbackModel-Array in den Settings. Es greift bei Überlast und nicht wiederholbaren Serverfehlern — niemals bei Auth-, Billing-, Rate-Limit- oder Request-Size-Fehlern — und gilt nur für den aktuellen Zug.
  • Fallback bei Content-Flag. Fable, Opus 5.5, Sonnet 5.5 und Opus 5 betreiben Safety-Klassifikatoren für Cyber- und Bio-Inhalte. Eine geflaggte Nachricht kann zu einem anderen Modell geroutet werden, statt abgelehnt zu werden: Opus 5.5 fällt für Bio auf Opus 5 zurück und für Cyber auf Opus 4.8; Sonnet 5.5 fällt für Cyber auf Sonnet 5 zurück und lehnt Bio ab. Umschalten lässt sich das mit switchModelsOnFlag.

Der dritte ist der heimtückische. Frag nach einem Sicherheitsthema und deine „Opus-5.5-Sitzung“ antwortet möglicherweise auf Opus 4.8. Die Ausgabe ist kein degradiertes Opus 5.5. Sie ist undegradiertes Opus 4.8.

Der opusplan-Alias macht per Design dasselbe: Opus für die Planung, Sonnet für die Ausführung. Wenn deine Wahrnehmung „es plant brillant und implementiert dann schlampig“ ist, prüfe, ob du nicht genau darum gebeten hast.

4. Der Serving-Stack bricht, unauffällig, über Wochen​

Das stärkste Argument dafür, dass „das ist alles Placebo“ falsch ist, ist, dass Anthropic das Gegenbeispiel selbst geschrieben hat. Im September 2025 veröffentlichte es ein Postmortem zu drei sich überlappenden Infrastruktur-Bugs, die die Ausgabequalität über Wochen verschlechterten:

  1. Ein Routing-Fehler beim Kontextfenster (5. Aug. – 18. Sept.) schickte gewöhnliche Requests an Server, die für ein kommendes 1M-Token-Kontextfenster konfiguriert waren. Auf dem Höhepunkt waren am 31. August 16 % der Sonnet-4-Requests falsch geroutet, und ungefähr 30 % der Claude-Code-Nutzer erlebten mindestens eine degradierte Antwort. Das Routing war sticky: sobald ein Gespräch auf einem falschen Server gelandet war, tendierten Folgeanfragen ebenfalls dorthin — was genau das Muster „bei mir ist es kaputt und bei dir läuft es“ ist, von dem den Leuten erzählt wird, es sei Einbildung.
  2. Ausgabekorruption durch eine TPU-Fehlkonfiguration (25. Aug. – 2. Sept.) bei Opus 4.1, Opus 4 und Sonnet 4 — inklusive thailändischer Schriftzeichen mitten in englischen Sätzen.
  3. Eine XLA:TPU-Fehlkompilierung von approximate top-k (25. Aug. – 12. Sept.), ein Mixed-Precision-Bug im Compiler, der JAX in TPU-Instruktionen übersetzt, ausgelöst durch eine Änderung, die die Token-Auswahl verbessern sollte.

Drei Details aus diesem Dokument sind es wert, verinnerlicht zu werden. Erstens stellt Anthropic unmissverständlich fest: „Wir reduzieren die Modellqualität niemals aufgrund von Nachfrage, Tageszeit oder Serverlast“ — die spezifische Verschwörungstheorie wird bestritten, während drei unabhängige, echte Bugs eingeräumt werden. Zweitens dauerte die Entdeckung Wochen, weil die internen Evals es nicht aufgefangen haben: die Benchmarks blieben grün, während die Nutzer recht hatten. Drittens bedeuteten Datenschutzkontrollen, dass Engineers die schlechten Gespräche nicht einfach lesen konnten.

Das ist die ehrliche Form dieses Problems. Degradation ist real, sie ist meist Infrastruktur und nicht Absicht, und aggregierte Benchmarks sind schlecht darin, sie zu sehen.

5. Es gibt gerade jetzt einen offenen Incident​

Bevor du theoretisierst, prüfe status.claude.com. Am 29. September 2026 — am selben Tag, an dem LiveNerf auf die Startseite kam — eröffnete Anthropic um 14:21 UTC einen Incident wegen erhöhter Fehlerraten über claude.ai, Claude Code, Claude Cowork und die API, erweiterte ihn um 14:30 auf „degraded performance“ und wendete um 14:41 eine Mitigation an. Eine Woche früher, am 22. September, trafen Fehler mehrere Modelle, darunter Opus 5, Mythos 5.1 und Fable 5.1.

Ein bedeutender Anteil der „heute ist es schlechter geworden“-Posts wird in einem Zeitfenster eingereicht, das ohnehin schon öffentlich eingeräumt ist.

6. Das Gespräch ist lang geworden​

Jedes aktuelle Claude-Modell bewirbt ein 1M-Token-Kontextfenster, und die Qualität ist darüber nicht flach. Zwei Effekte, die sich verstärken:

  • Lange Gespräche degradieren. Attention über ein sehr langes Präfix ist nicht kostenlos, und Anweisungen von vor 200 Zügen konkurrieren mit allem, was seither kam.
  • Compaction schreibt deine Historie um. Serverseitige Compaction fasst früheren Kontext zusammen, wenn er sich der Auslöseschwelle nähert. Claude Code komprimiert ebenfalls. Nach einer Compaction arbeitet das Modell aus einer Zusammenfassung dessen, was du dich erinnerst, ihm gesagt zu haben. Es hat nichts vergessen. Das Transkript hat sich geändert.

Ebenfalls wissenswert: der mit Opus 4.7 eingeführte Tokenizer hat den Umrechnungskurs verändert. 1M Token sind auf dem aktuellen Tokenizer etwa 555.000 Wörter, gegenüber rund 750.000 Wörtern auf dem älteren. Dasselbe Dokument ist ein größerer Anteil deines Fensters als früher.

7. Du hast dich geändert​

Der unbeliebteste Mechanismus und der häufigste. In Woche eins fragst du nach Dingen, von denen du schon weißt, dass das Modell sie gut kann. In Woche vier stellst du härtere Fragen, auf einer größeren Codebase, mit einer längeren CLAUDE.md, und hast aufgehört, die sorgfältigen Prompts zu schreiben, die du geschrieben hast, als es neu war. Die gemessene Größe — meine Zufriedenheit pro Sitzung — hat zwei bewegliche Eingangsgrößen, und du hast nur eine davon instrumentiert.

Der am häufigsten zitierte Beweis ist ein Eval-Bug​

Wenn du einen einzigen Beleg dafür gesehen hast, dass ein Modell schlechter wurde, ist es wahrscheinlich dieser: in How Is ChatGPT's Behavior Changing over Time? berichten Chen, Zaharia und Zou, dass GPT-4s Genauigkeit bei „ist diese Zahl prim? denke Schritt für Schritt“ zwischen März und Juni 2023 von 97,6 % auf 2,4 % fiel. Es ging überall herum. Es wird bis heute zitiert.

Dann haben Arvind Narayanan und Sayash Kapoor sich das Testset angesehen. Jede einzelne der 500 Zahlen war prim.

Das März-Modell antwortete fast immer „prim“. Das Juni-Modell antwortete fast immer „zusammengesetzt“. Gegen ein Set aus ausschließlich Primzahlen sind das 97,6 % gegenüber 2,4 % — aber es misst einen Bias-Flip, kein Schlussfolgern. Als sie 500 zusammengesetzte Zahlen durchlaufen ließen, invertierten sich die Werte. Keine der beiden Versionen prüfte Faktoren; beide listeten die zu testenden Teiler auf und rieten dann. Das Verhalten hat sich geändert. Die Fähigkeit war dieselbe, und sie war nie gut.

Pro tip

Die Unterscheidung, die man behalten muss. Verhaltensdrift — andere Formatierung, Wortfülle, Bereitwilligkeit, Standardvermutung — ist real, häufig und ein dokumentierter Nebeneffekt von Fine-Tuning. Fähigkeitsverlust ist eine viel stärkere Behauptung und braucht viel stärkere Belege. Fast jede virale Nerf-Behauptung ist das Erste, verkleidet als das Zweite.

Drei statistische Fallen sitzen darüber, und sie gelten auch für deine eigenen Eindrücke:

  • Ein Eval, bei dem alles dieselbe Antwort hat, misst Bias, nicht Können. Wenn dein persönliches Testset komplett aus „sollte ablehnen“ oder komplett aus „sollte gelingen“ besteht, sieht eine Verschiebung der Standardhaltung des Modells wie ein Zusammenbruch aus.
  • Selektionsbias in der Evidenz. Niemand postet „Opus war heute wieder in Ordnung“. Der Feed, den du liest, ist ein Filter, der nur schlechte Tage durchlässt, und er wird dichter, je populärer ein Modell wird.
  • Regression zur Mitte. Deine Baseline ist die Launch-Woche, in der du am meisten beeindruckt warst — und die ist, als Extremwert deiner Stichprobe, genau das, was ein unverändertes Modell am wenigsten wahrscheinlich wiederholt.

Wie man es messen kann — das LiveNerf-Design​

LiveNerf ist weniger wegen seines Urteils als wegen seiner Methodik ein Studium wert, denn es ist das Design, das eine glaubwürdige Antwort erfordert. Aus dem Repository (662 Sterne zum Zeitpunkt des Schreibens, 6 von 30 Tagen erhoben):

Guided walkthrough1 of 6
  1. Du kannst diese Modelle nicht deterministisch machen — Sampling-Parameter gibt es in der aktuellen Modellreihe nicht mehr und adaptives Thinking lässt sich nicht abschalten. LiveNerfs Antwort, in seiner eigenen Formulierung: mach alles andere deterministisch. Eingefrorene Prompts, eine fixierte CLI-Version, exakte Grader, Rohlogs für immer aufbewahrt. Du entfernst nicht das Rauschen; du stellst sicher, dass das Rauschen das Einzige ist, was sich noch bewegen kann.

Die kürzeste Version aller sechs: eine einzelne schlechte Sitzung ist kein Beweis, und eine einzelne gute auch nicht.

Deine eigene Version, günstig​

Du brauchst keine 78 GPQA-Items. Du brauchst deine eigenen Aufgaben, was besser ist — dir geht es um deine Arbeitslast, nicht um MMLU-Pro. Das Protokoll skaliert nach unten:

Persönliches Nerf-Check-Protokoll

1. Collect 20-30 real prompts from your own work.
 Keep only the ones you sometimes get a good answer to and sometimes don't.
 Drop anything that always works (ceiling) or never works (floor).

2. Write a grader you can run without thinking about it.
 Pass/fail is enough. A human rubric you apply inconsistently is worse than nothing.

3. Pin EVERYTHING that is pinnable:
 - exact model ID (e.g. claude-opus-5-5, never an alias on an older generation)
 - effort level, explicitly set - never inherited
 - one frozen system prompt, byte for byte
 - no tools, or exactly the same tool list every run
 - fresh conversation per item; no shared history

4. Baseline: run the whole set 5 times over the first week. Save raw outputs.

5. Re-run the identical set on the same schedule later.
 Compare item by item against the baseline - not set average to set average.

6. Add a control arm: the same items on a DIFFERENT model, same harness, same day.
 Both move together => your measurement moved, not the model.

7. Decide in advance what counts: e.g. "a drop of 3+ items, twice in a row,
 with the control flat." Write it down before you look at the numbers.

Zwei Fehlermodi, die zu vermeiden sind. Verwende keinen Alias, wo die Generation noch einen hat — du würdest messen, worauf der Alias zeigt. Und lass effort nicht von einer Sitzungseinstellung, einem Skill oder einem Subagent-Frontmatter erben, sonst misst du deinen eigenen Config-Drift.

Was die Tracker tatsächlich gefunden haben​

Stand 30. September 2026 stützen die öffentlichen Tracker keinen Nerf von Opus 5.5. LiveNerf hatte 6 seiner 30 geplanten Tage ohne einen verpassten Lauf erhoben und hatte daher kein Urteil erreicht — nach seiner eigenen vorregistrierten Regel kann es das vor zwei vollen 10-Tage-Fenstern nicht. Ein zweiter Tracker, BridgeBenchs NerfBench, wurde Ende September so berichtet, dass er Opus 5.5 bei rund 99,2 % der Launch-Leistung ansetzt, bequem innerhalb seines Bandes normaler Varianz — eine Zahl, die wir an der Quelle nicht verifizieren konnten (siehe die Anmerkung oben).

Zwei ehrliche Schlussfolgerungen daraus. Die empirische Evidenz deutet bisher auf „keine erkennbare Änderung“, und die ehrliche Version von „keine erkennbare Änderung“ schließt die Erkennungsgrenze mit ein: ein gepaartes Panel mit 78 Items und einem Mindesteffekt von 3 Punkten kann einen echten Abfall von 1 Punkt vollständig übersehen. Kein Beleg für Degradation ist nicht Beleg für keine Degradation — und ein strenger Tracker sagt dir, welches von beidem er hat.

Zehn-Minuten-Triage​

Bevor du irgendetwas schlussfolgerst, in dieser Reihenfolge:

Guided walkthrough1 of 6
  1. status.claude.com. Ein offener Incident beendet die Untersuchung. Am 29. September 2026 waren das Fenster der degradierten Performance und der Höhepunkt der Nerf-Diskussion derselbe Nachmittag.
Drücke Enter oder die Leertaste, um die Karte umzudrehen. Nutze die Pfeiltasten links und rechts, um zwischen den Karten zu wechseln.Begriff angezeigt.
1 / 8

Quiz​

Check yourself

0/6
  1. Du rufst die Claude API mit der Modell-ID claude-opus-5-5 auf, und die Ausgabequalität fällt über zwei Wochen merklich ab. Welche Erklärung kannst du zuerst ausschließen, ohne irgendetwas zu messen?
  2. GPT-4s Genauigkeit bei „ist diese Zahl prim?“ fiel zwischen zwei Versionen von 97,6 % auf 2,4 %. Was hat die Nachanalyse ergeben?
  3. Du baust einen persönlichen Check für Modelldegradation. Deine 30 Prompts bekommen heute alle korrekte Antworten. Warum ist dieses Panel nahezu nutzlos?
  4. Mitten in einer Claude-Code-Sitzung werden deine Antworten merklich schwächer, direkt nachdem du eine Sicherheitsfrage gestellt hast. Wahrscheinlichste Ursache?
  5. Ein Tracker berichtet keine erkennbare Degradation, mit einem gepaarten Panel aus 78 Items und einem vorregistrierten Mindesteffekt von 3 Punkten. Was darfst du daraufhin sagen?
  6. Warum haben Anthropics interne Evaluationen die drei Infrastruktur-Bugs vom August 2025 nicht gefunden, die die Ausgabe wirklich verschlechtert haben?

Weiter​

Quellen & weiterführende Lektüre​