Aller au contenu principal

Le modèle a-t-il été nerfé ? Comment le savoir vraiment

Intermédiaire

Le 29 septembre 2026, la principale actualité Claude sur Hacker News n'était pas un lancement. C'était LiveNerf, un dépôt dont la raison d'être tout entière est de répondre à une seule question — Claude Opus 5.5 a-t-il déjà été nerfé ? — avec 745 points et 306 commentaires. Sept jours après la sortie d'un modèle phare, la conversation la plus animée de la communauté à son sujet porte sur le fait de savoir s'il a déjà été discrètement dégradé.

Cette question est plus ancienne que n'importe quel modèle actuel et elle ne se résout jamais, parce que presque tous ceux qui en débattent débattent de mémoire. La version utile de la question est plus étroite et possède une réponse : qu'est-ce qui, précisément, est autorisé à changer entre le modèle que vous avez utilisé mardi dernier et celui que vous utilisez maintenant — et comment sauriez-vous lequel a bougé ?

What you'll learn
  • Connaître la seule chose qui ne peut pas changer silencieusement sur l'API Claude — et pourquoi la réponse est différente sur claude.ai
  • Reconnaître les sept mécanismes qui, eux, modifient réellement la qualité des sorties sans aucun nouveau modèle
  • Comprendre pourquoi le résultat le plus cité sur « le modèle est devenu plus bête » était un défaut de conception d'évaluation, pas une perte de capacité
  • Exécuter une mesure capable de détecter réellement une baisse de 3 points, avec un design apparié et un bras de contrôle
  • Faire le tri sur une mauvaise journée en dix minutes avant de conclure quoi que ce soit

La seule chose qui ne peut pas changer​

Commençons par l'affirmation dont tout l'argument dépend : ils ont remplacé les poids par une version quantifiée moins chère sans le dire à personne.

Sur l'API Claude, pour la gamme actuelle, cela ne peut pas se produire — et la raison est une décision de versionnage, pas une promesse d'intention. D'après l'aperçu des modèles d'Anthropic :

Chaque identifiant de modèle Claude est un instantané figé, y compris les identifiants sans date utilisés à partir de la génération 4.6.

Cette phrase est facile à survoler et c'est pourtant tout l'enjeu. Historiquement, claude-opus-4-5 était un alias qui se résolvait vers un instantané daté comme claude-opus-4-5-20251101 — les alias bougent, les instantanés non. À partir de la génération 4.6, l'identifiant sans date est lui-même l'instantané. claude-opus-5-5 n'est pas un pointeur vers ce qu'Anthropic sert cette semaine ; c'est un artefact figé unique, avec une date de retrait publiée (pas avant le 22 septembre 2027).

Donc si vous appelez l'API avec un identifiant de modèle actuel, « ils ont changé le modèle » est la seule hypothèse que vous pouvez écarter sans rien mesurer. Ce qui est utile, car cela force la question intéressante : alors qu'est-ce qui a changé ?

Watch out

Il s'agit d'une affirmation sur les poids, pas sur le service. Un modèle figé servi par une pile d'inférence défaillante produit de moins bonnes sorties que le même modèle figé servi correctement — et cela s'est démontrablement produit. Voir le mécanisme 4 ci-dessous.

Sept choses qui changent sans nouveau modèle​

#Ce qui bougeOù cela s'appliqueVisible pour vous ?
1Le system prompt produitclaude.ai, apps iOS/Android — pas l'APIOui, publié
2La profondeur de réflexion (thinking adaptatif + effort)API, Claude Code, appsEn partie
3Les échanges de modèle au niveau du harnaisClaude Code, tout client avec des replisParfois
4Les bugs de la pile de serviceToutNon — jusqu'au postmortem
5Les incidents en coursToutOui, page de statut
6La longueur de conversation et la compactionToutRarement
7Vos propres prompts et tâchesVousPresque jamais

1. Le system prompt produit est mis à jour, et l'API ne l'est pas​

Anthropic publie le system prompt que claude.ai et les applications mobiles ajoutent devant chaque conversation, avec des entrées datées par modèle, et déclare clairement :

Ce prompt est mis à jour périodiquement afin d'améliorer les réponses de Claude. Ces mises à jour du system prompt ne s'appliquent pas à l'API Claude.

C'est le fait le plus sous-estimé de tout le discours sur le nerf. Le même modèle figé peut se comporter de façon mesurablement différente sur claude.ai cette semaine par rapport à la semaine dernière, parce que le bloc d'instructions de plusieurs milliers de tokens placé devant votre message a changé — et rien de tout cela n'atteint un appelant de l'API. Cela signifie aussi que les deux populations qui se disputent sur Reddit n'utilisent souvent pas du tout le même système : un groupe est sur une surface produit où le cadrage bouge, l'autre sur un point d'accès brut où il ne bouge pas.

Si vous voulez savoir si l'application a changé, les notes de version sont la source primaire, pas votre mémoire.

2. Le thinking adaptatif signifie que le même prompt ne reçoit pas le même effort​

Sur la gamme actuelle, la réflexion est adaptative : le modèle décide combien réfléchir, guidé par un paramètre effort. C'est une source réelle et documentée de variance d'une exécution à l'autre, qui n'existait pas à l'époque des budgets fixes.

Les valeurs par défaut ne sont pas uniformes non plus, et elles ont bougé :

ModèleEffort par défautRéflexion
Claude Fable 5.1highAdaptative, toujours active
Claude Opus 5.5mediumAdaptative, toujours active
Claude Sonnet 5.5highAdaptative
Claude Haiku 4.5non pris en chargeÉtendue

La note d'Anthropic elle-même indique qu'Opus 5.5 en medium est calibré pour égaler Opus 5 en high. Reportez une configuration depuis un modèle plus ancien sans relire cela et vous pouvez atterrir sur moins de réflexion qu'avant, sur un modèle plus récent et nominalement meilleur, et percevoir à juste titre qu'« il est devenu plus paresseux ». Rien n'a été nerfé. Un enum voulait dire autre chose.

Claude Code ajoute une échelle plus large — low, medium, high, xhigh, max, ultracode — réglable par session, par modèle, et surchargeable par le frontmatter des skills et des sous-agents. Une skill que vous avez installée le mois dernier peut discrètement plafonner l'effort de chaque exécution qu'elle touche.

3. Votre harnais échange les modèles à votre place​

C'est le mécanisme qui produit le plus souvent un authentique « il est devenu plus bête en pleine session », et il n'a rien à voir avec le modèle.

Claude Code possède trois mécanismes d'échange indépendants :

  • Repli sur limite d'usage. Atteignez le plafond Opus et la session continue sur Sonnet. Des utilisateurs ont ouvert des tickets demandant que cela s'arrête plutôt que de rétrograder, précisément parce que la baisse est ressentie avant d'être lue.
  • Chaînes de repli sur erreur. --fallback-model sonnet,haiku ou un tableau fallbackModel dans les réglages. Cela se déclenche en cas de surcharge et d'erreurs serveur non réessayables — jamais sur des erreurs d'authentification, de facturation, de limite de débit ou de taille de requête — et ne dure que le tour en cours.
  • Repli sur contenu signalé. Fable, Opus 5.5, Sonnet 5.5 et Opus 5 exécutent des classificateurs de sûreté pour les contenus cyber et bio. Un message signalé peut être routé vers un modèle différent plutôt que refusé : Opus 5.5 se replie sur Opus 5 pour le bio et sur Opus 4.8 pour le cyber ; Sonnet 5.5 se replie sur Sonnet 5 pour le cyber et refuse pour le bio. Contrôlez-le avec switchModelsOnFlag.

Le troisième est le sournois. Posez une question sur un sujet de sécurité et votre « session Opus 5.5 » peut répondre sur Opus 4.8. La sortie n'est pas un Opus 5.5 dégradé. C'est un Opus 4.8 non dégradé.

L'alias opusplan fait la même chose par conception : Opus pour la planification, Sonnet pour l'exécution. Si votre perception est « il planifie brillamment puis implémente salement », vérifiez si vous n'avez pas demandé exactement cela.

4. La pile de service casse, discrètement, pendant des semaines​

L'argument le plus fort contre le « tout ça c'est du placebo » est qu'Anthropic a elle-même écrit le contre-exemple. En septembre 2025, elle a publié un postmortem sur trois bugs d'infrastructure qui se chevauchaient et ont dégradé la qualité des sorties pendant des semaines :

  1. Une erreur de routage de fenêtre de contexte (5 août – 18 sept.) envoyait des requêtes ordinaires vers des serveurs configurés pour un futur contexte de 1 M de tokens. Au pic, 16 % des requêtes Sonnet 4 du 31 août ont été mal routées, et environ 30 % des utilisateurs de Claude Code ont rencontré au moins une réponse dégradée. Le routage était collant : une fois qu'une conversation atterrissait sur le mauvais serveur, les suites tendaient à y atterrir aussi — ce qui est exactement le schéma « c'est cassé chez moi et ça marche chez toi » dont on dit aux gens qu'il est imaginaire.
  2. Une corruption des sorties due à une mauvaise configuration TPU (25 août – 2 sept.) sur Opus 4.1, Opus 4 et Sonnet 4 — avec notamment des caractères thaïs apparaissant au milieu de phrases en anglais.
  3. Une mauvaise compilation XLA:TPU du top-k approximatif (25 août – 12 sept.), un bug de précision mixte dans le compilateur qui traduit JAX en instructions TPU, déclenché par un changement destiné à améliorer la sélection des tokens.

Trois détails de ce document méritent d'être intériorisés. Premièrement, Anthropic affirme sans détour : « Nous ne réduisons jamais la qualité du modèle en raison de la demande, de l'heure de la journée ou de la charge serveur » — la théorie du complot précise est niée, tandis que trois vrais bugs sans lien entre eux sont admis. Deuxièmement, la raison pour laquelle la détection a pris des semaines est que les évaluations internes ne l'ont pas attrapé : les benchmarks restaient verts alors que les utilisateurs avaient raison. Troisièmement, les contrôles de confidentialité empêchaient les ingénieurs de simplement lire les mauvaises conversations.

Voilà la forme honnête de ce problème. La dégradation est réelle, elle relève généralement de l'infrastructure plutôt que de l'intention, et les benchmarks agrégés sont mauvais pour la voir.

5. Il y a un incident ouvert en ce moment même​

Avant de théoriser, consultez status.claude.com. Le 29 septembre 2026 — le jour même où LiveNerf est arrivé en première page — Anthropic a ouvert un incident à 14h21 UTC pour des taux d'erreur élevés sur claude.ai, Claude Code, Claude Cowork et l'API, l'a élargi à 14h30 en « performances dégradées », et a appliqué une mitigation à 14h41. Une semaine plus tôt, le 22 septembre, des erreurs ont touché plusieurs modèles dont Opus 5, Mythos 5.1 et Fable 5.1.

Une part significative des posts « c'est devenu pire aujourd'hui » est déposée pendant une fenêtre déjà publiquement reconnue.

6. La conversation s'est allongée​

Chaque modèle Claude actuel annonce une fenêtre de contexte de 1 M de tokens, et la qualité n'est pas plate sur toute son étendue. Deux effets qui se cumulent :

  • Les longues conversations se dégradent. L'attention sur un préfixe très long n'est pas gratuite, et les instructions données il y a 200 tours entrent en concurrence avec tout ce qui a suivi.
  • La compaction réécrit votre historique. La compaction côté serveur résume le contexte antérieur quand il approche du seuil de déclenchement. Claude Code compacte aussi. Après une compaction, le modèle travaille à partir d'un résumé de ce que vous vous souvenez lui avoir dit. Il n'a pas oublié. La transcription a changé.

Également utile à savoir : le tokenizer introduit avec Opus 4.7 a changé le taux de change. 1 M de tokens représente environ 555 k mots sur le tokenizer actuel, contre à peu près 750 k mots sur l'ancien. Le même document occupe une plus grande fraction de votre fenêtre qu'avant.

7. Vous avez changé​

Le mécanisme le moins populaire et le plus courant. Semaine un, vous demandez des choses que vous savez déjà que le modèle fait bien. Semaine quatre, vous posez des questions plus dures, sur une base de code plus grande, avec un CLAUDE.md plus long, après avoir cessé d'écrire les prompts soignés que vous écriviez quand c'était nouveau. La quantité mesurée — ma satisfaction par session — a deux entrées mobiles et vous n'en avez instrumenté qu'une.

La preuve la plus citée est un bug d'évaluation​

Si vous avez vu un seul élément de preuve qu'un modèle est devenu moins bon, c'est probablement celui-ci : dans How Is ChatGPT's Behavior Changing over Time?, Chen, Zaharia et Zou rapportent que la précision de GPT-4 sur « ce nombre est-il premier ? réfléchis étape par étape » est tombée de 97,6 % à 2,4 % entre mars et juin 2023. Ça a circulé partout. C'est encore cité.

Puis Arvind Narayanan et Sayash Kapoor ont regardé le jeu de test. Chacun des 500 nombres était premier.

Le modèle de mars répondait presque toujours « premier ». Celui de juin répondait presque toujours « composé ». Face à un ensemble entièrement composé de nombres premiers, cela fait 97,6 % contre 2,4 % — mais cela mesure un renversement de biais, pas un raisonnement. Quand ils ont fait tourner 500 nombres composés, les scores se sont inversés. Aucune des deux versions ne vérifiait les facteurs ; les deux listaient les diviseurs à tester, puis devinaient. Le comportement a changé. La capacité était la même, et elle n'a jamais été bonne.

Pro tip

La distinction à retenir. La dérive de comportement — formatage différent, verbosité, disposition à répondre, réponse par défaut — est réelle, fréquente, et un effet secondaire documenté du fine-tuning. La perte de capacité est une affirmation beaucoup plus forte et exige des preuves beaucoup plus fortes. Presque toutes les affirmations virales de nerf sont la première déguisée en seconde.

Trois pièges statistiques se superposent à cela, et ils s'appliquent aussi à vos propres impressions :

  • Une évaluation où toutes les réponses sont identiques mesure un biais, pas une compétence. Si votre jeu de test personnel est entièrement « devrait refuser » ou entièrement « devrait réussir », un changement de posture par défaut du modèle ressemble à un effondrement.
  • Biais de sélection dans les preuves. Personne ne poste « Opus allait encore très bien aujourd'hui ». Le flux que vous lisez est un filtre qui ne laisse passer que les mauvais jours, et il se densifie à mesure qu'un modèle devient plus populaire.
  • Régression vers la moyenne. Votre référence est la semaine de lancement où vous avez été le plus impressionné — ce qui, étant l'extrême de votre échantillon, est précisément ce qu'un modèle inchangé a le moins de chances de reproduire.

Comment le mesurer — le design LiveNerf​

LiveNerf mérite d'être étudié moins pour son verdict que pour sa méthodologie, car c'est le design qu'exige une réponse crédible. D'après le dépôt (662 étoiles au moment de l'écriture, 6 jours sur 30 collectés) :

Guided walkthrough1 of 6
  1. Vous ne pouvez pas rendre ces modèles déterministes — les paramètres d'échantillonnage ont disparu sur la gamme actuelle et le thinking adaptatif ne peut pas être désactivé. La réponse de LiveNerf, dans ses propres termes : rendre tout le reste déterministe. Prompts figés, version du CLI épinglée, correcteurs exacts, logs bruts conservés pour toujours. Vous ne supprimez pas le bruit ; vous vous assurez que le bruit est la seule chose qui puisse encore bouger.

La version la plus courte de ces six points : une seule mauvaise session n'est pas une preuve, et une seule bonne non plus.

Votre propre version, à moindres frais​

Vous n'avez pas besoin de 78 items GPQA. Vous avez besoin de vos propres tâches, ce qui est mieux — ce qui vous intéresse, c'est votre charge de travail, pas MMLU-Pro. Le protocole se réduit à votre échelle :

Protocole personnel de vérification de nerf

1. Collect 20-30 real prompts from your own work.
 Keep only the ones you sometimes get a good answer to and sometimes don't.
 Drop anything that always works (ceiling) or never works (floor).

2. Write a grader you can run without thinking about it.
 Pass/fail is enough. A human rubric you apply inconsistently is worse than nothing.

3. Pin EVERYTHING that is pinnable:
 - exact model ID (e.g. claude-opus-5-5, never an alias on an older generation)
 - effort level, explicitly set - never inherited
 - one frozen system prompt, byte for byte
 - no tools, or exactly the same tool list every run
 - fresh conversation per item; no shared history

4. Baseline: run the whole set 5 times over the first week. Save raw outputs.

5. Re-run the identical set on the same schedule later.
 Compare item by item against the baseline - not set average to set average.

6. Add a control arm: the same items on a DIFFERENT model, same harness, same day.
 Both move together => your measurement moved, not the model.

7. Decide in advance what counts: e.g. "a drop of 3+ items, twice in a row,
 with the control flat." Write it down before you look at the numbers.

Deux modes d'échec à éviter. N'utilisez pas d'alias là où la génération en possède encore un — vous mesureriez ce que l'alias désigne. Et ne laissez pas effort être hérité d'un réglage de session, d'une skill ou du frontmatter d'un sous-agent, sinon vous mesurez la dérive de votre propre configuration.

Ce que les traqueurs ont réellement trouvé​

Au 30 septembre 2026, les traqueurs publics n'étayent pas un nerf d'Opus 5.5. LiveNerf avait collecté 6 de ses 30 jours prévus sans aucune exécution manquée et n'avait donc pas atteint de verdict — selon sa propre règle pré-enregistrée, il ne peut pas, avant deux fenêtres complètes de 10 jours. Un second traqueur, le NerfBench de BridgeBench, aurait situé fin septembre Opus 5.5 à environ 99,2 % de sa puissance de lancement, confortablement dans sa bande de variance normale — un chiffre que nous n'avons pas pu vérifier à la source (voir la note ci-dessus).

Deux conclusions honnêtes à en tirer. Les preuves empiriques pointent pour l'instant vers « aucun changement détectable », et la version honnête d'« aucun changement détectable » inclut le plancher de détection : un panel apparié de 78 items avec un effet minimal de 3 points peut manquer entièrement une baisse réelle d'1 point. Aucune preuve de dégradation n'est pas une preuve d'absence de dégradation — et un traqueur rigoureux vous dira lequel des deux il a.

Tri en dix minutes​

Avant de conclure quoi que ce soit, dans cet ordre :

Guided walkthrough1 of 6
  1. status.claude.com. Un incident ouvert met fin à l'enquête. Le 29 septembre 2026, la fenêtre de performances dégradées et le pic de la discussion sur le nerf étaient le même après-midi.
Appuyez sur Entrée ou Espace pour retourner la carte. Utilisez les flèches gauche et droite pour naviguer entre les cartes.Terme affiché.
1 / 8

Quiz​

Check yourself

0/6
  1. Vous appelez l'API Claude avec l'identifiant de modèle claude-opus-5-5 et la qualité des sorties baisse nettement sur deux semaines. Quelle explication pouvez-vous écarter d'emblée, sans rien mesurer ?
  2. La précision de GPT-4 sur « ce nombre est-il premier ? » est tombée de 97,6 % à 2,4 % entre deux versions. Qu'a trouvé l'analyse de suivi ?
  3. Vous construisez une vérification personnelle de la dégradation d'un modèle. Vos 30 prompts obtiennent tous des réponses correctes aujourd'hui. Pourquoi ce panel est-il presque inutile ?
  4. En pleine session dans Claude Code, vos réponses deviennent nettement plus faibles juste après que vous avez posé une question de sécurité. Cause la plus probable ?
  5. Un traqueur rapporte aucune dégradation détectable en utilisant un panel apparié de 78 items avec un effet minimal pré-enregistré de 3 points. Qu'est-ce que cela vous autorise à dire ?
  6. Pourquoi les évaluations internes d'Anthropic n'ont-elles pas attrapé les trois bugs d'infrastructure d'août 2025 qui ont réellement dégradé les sorties ?

Suite​

Sources et lectures complémentaires​