メインコンテンツまでスキップ

モデルはナーフされたのか — 実際に見分ける方法

中級

2026 年 9 月 29 日、Hacker News のトップにあった Claude 関連の記事は launch ではありませんでした。 LiveNerf — たった一つの問い、Claude Opus 5.5 は もうナーフされたのか? に答えることだけを目的としたリポジトリで、745 ポイント・306 コメント。 フラッグシップモデルの出荷から 7 日後、そのモデルについてコミュニティが最も熱心に交わしていた 会話は、すでに静かに悪くされたのかどうかでした。

この問いは現行のどのモデルよりも古く、そして決着がつくことがありません。議論している人の ほとんどが記憶をもとに議論しているからです。この問いの有用な版はもっと狭く、答えられます。 先週の火曜日に使ったモデルと、いま使っているモデルのあいだで、具体的に何が変わることを 許されているのか — そして、どちらが動いたのかをどうやって知るのか。

What you'll learn
  • Claude API で静かには変わりえない唯一のものを知る — そして claude.ai では答えが違う理由
  • 新しいモデルなしに出力品質を実際に変えてしまう 7 つのメカニズムを見分ける
  • 最も引用される「モデルが馬鹿になった」という結果が、能力の喪失ではなく eval 設計のバグだった理由を理解する
  • ペア設計と対照群を使って、3 ポイントの低下を実際に検出できる測定を走らせる
  • 結論を出す前に、10 分で「調子の悪い日」をトリアージする

変わりえない唯一のもの​

議論全体が依存している主張から始めましょう。安価な量子化版に重みを差し替えて、誰にも 言わなかった。

Claude API では、現行のラインナップについて、これは起こりえないことです — そしてその理由は 意図に関する約束ではなく、バージョニングの設計判断です。Anthropic のモデル概要より:

すべての Claude モデル ID は固定スナップショットであり、4.6 世代以降で使われる日付なしの ID も含まれます。

この一文は読み飛ばしやすく、そして勝負のすべてです。歴史的には claude-opus-4-5 は claude-opus-4-5-20251101 のような日付付きスナップショットに解決されるエイリアスでした — エイリアスは動き、スナップショットは動きません。4.6 世代以降、日付なしの ID それ自体が スナップショットです。claude-opus-5-5 は Anthropic が今週配信しているものへのポインタでは ありません。公開された廃止日(2027 年 9 月 22 日より前ではない)を持つ、凍結された 1 つの 成果物です。

つまり、現行のモデル ID で API を呼んでいるなら、「モデルが変わった」は何も測定せずに除外 できる唯一の仮説です。これは有用です。なぜなら、興味深い問いを突きつけるからです。 では、何が変わったのか?

Watch out

これは重みについての主張であって、配信についてではありません。壊れた推論スタックを 通して配信された凍結モデルは、同じ凍結モデルを正しく配信した場合より悪い出力を出します — そしてそれは実際に起きたことがあります。下のメカニズム 4 を参照。

新しいモデルなしに変わる 7 つのこと​

#何が動くかどこに当てはまるかあなたに見えるか?
1プロダクトのシステムプロンプトclaude.ai、iOS/Android アプリ — API は含まないはい、公開されている
2思考の深さ(adaptive thinking + effort)API、Claude Code、アプリ部分的に
3ハーネスレベルのモデル差し替えClaude Code、フォールバックを持つ任意のクライアントときどき
4配信スタックのバグすべていいえ — ポストモーテムが出るまで
5進行中のインシデントすべてはい、ステータスページ
6会話の長さとコンパクションすべてめったに
7あなた自身のプロンプトとタスクあなたほぼ決して

1. プロダクトのシステムプロンプトが更新され、API は更新されない​

Anthropic は、claude.ai とモバイルアプリがすべての会話の先頭に付けるシステムプロンプトを、 モデルごとに日付付きのエントリで公開しており、こう明記しています:

このプロンプトは Claude の応答を改善するために定期的に更新されます。これらのシステム プロンプトの更新は Claude API には適用されません。

これはナーフ議論のなかで最も過小評価されている事実です。同じ凍結モデルが、claude.ai 上で 先週と今週で測定可能なほど違う振る舞いをしうるのです。あなたのメッセージの前に置かれる 数千トークンの指示ブロックが変わったからで、そのどれも API 呼び出し元には届きません。 これはまた、Reddit で言い争っている 2 つの集団が、そもそも同じシステムを使っていないことが 多いという意味でもあります。一方はフレーミングが動くプロダクト面にいて、もう一方はそれが 動かない生のエンドポイントにいます。

アプリが変わったかどうかを知りたいなら、一次情報はあなたの記憶ではなくリリースノートです。

2. adaptive thinking により、同じプロンプトが同じ労力を受け取るとは限らない​

現行のラインナップでは、思考は適応的です。モデルがどれだけ考えるかを決め、effort パラメータがそれを誘導します。これは固定バジェットの時代には存在しなかった、実在する 文書化された実行ごとのばらつきの源です。

デフォルトも一様ではなく、しかも動きました:

モデルデフォルトの effort思考
Claude Fable 5.1high適応的、常時オン
Claude Opus 5.5medium適応的、常時オン
Claude Sonnet 5.5high適応的
Claude Haiku 4.5非対応Extended

Anthropic 自身の注記によれば、medium の Opus 5.5 は high の Opus 5 に一致するよう 較正されています。これを読み直さずに古いモデルの設定をそのまま持ち込むと、新しくて名目上は より良いモデルの上で、以前より少ない思考に着地することになり、「怠けるようになった」と 正しく知覚することになります。ナーフされたものは何もありません。enum の意味が違っただけです。

Claude Code はさらに広い段階 — low、medium、high、xhigh、max、ultracode — を 追加し、セッションごと・モデルごとに設定でき、スキルやサブエージェントのフロントマターで 上書きできます。先月インストールしたスキルが、それが触れるすべての実行の effort を静かに 抑えているかもしれません。

3. ハーネスがモデルを勝手に差し替える​

本物の「セッション途中で馬鹿になった」を最も頻繁に生み出すのがこのメカニズムで、モデルとは 何の関係もありません。

Claude Code には3 つの独立した差し替えメカニズムがあります:

  • 使用量上限フォールバック。 Opus の上限に達すると、セッションは Sonnet で続行します。 ユーザーは、ダウングレードではなく停止してほしいと issue を立てています。 まさに、その低下が読まれる前に感じ取られるからです。
  • エラーフォールバックチェーン。 --fallback-model sonnet,haiku、または設定の fallbackModel 配列。過負荷とリトライ不可なサーバーエラーで発火し — 認証、請求、 レート制限、リクエストサイズのエラーでは決して発火しません — 現在のターンのあいだだけ 続きます。
  • コンテンツフラグによるフォールバック。 Fable、Opus 5.5、Sonnet 5.5、Opus 5 は サイバーおよびバイオのコンテンツに対する安全分類器を走らせます。フラグの立った メッセージは、拒否ではなく別のモデルにルーティングされうるのです。Opus 5.5 はバイオでは Opus 5 に、サイバーでは Opus 4.8 にフォールバックします。Sonnet 5.5 はサイバーでは Sonnet 5 にフォールバックし、バイオでは拒否します。switchModelsOnFlag で切り替えられます。

3 つ目が曲者です。セキュリティの話題を尋ねると、あなたの「Opus 5.5 のセッション」が Opus 4.8 で答えているかもしれません。その出力は劣化した Opus 5.5 ではありません。劣化して いない Opus 4.8 です。

opusplan エイリアスは設計上まさに同じことをします。計画は Opus、実行は Sonnet。 「計画は見事なのに、実装が雑になる」という知覚があるなら、自分がまさにそれを頼んだのでは ないか確認してください。

4. 配信スタックが、静かに、何週間も壊れる​

「全部プラセボだ」が誤りである最も強い論拠は、Anthropic 自身が反例を書いたことです。 2025 年 9 月、同社は数週間にわたり出力品質を劣化させた 3 つの重なり合うインフラのバグに ついてポストモーテム を公開しました:

  1. コンテキストウィンドウのルーティングエラー(8 月 5 日〜9 月 18 日)が、通常の リクエストを来たるべき 100 万トークンコンテキスト向けに構成されたサーバーへ送りました。 ピーク時、8 月 31 日には Sonnet 4 のリクエストの 16% が誤ルーティングされ、 Claude Code ユーザーのおよそ 30% が少なくとも 1 回は劣化した応答に遭遇しました。 ルーティングはスティッキーでした。いったん会話が誤ったサーバーに着地すると、続く ターンもそこに着地しがちだったのです — これはまさに、想像だと言われがちな「自分には 壊れていて、あなたには問題ない」というパターンそのものです。
  2. TPU の設定ミスによる出力の破損(8 月 25 日〜9 月 2 日)が Opus 4.1、Opus 4、 Sonnet 4 で発生 — 英語の文の途中にタイ語の文字が現れる事例を含みます。
  3. 近似 top-k の XLA:TPU ミスコンパイル(8 月 25 日〜9 月 12 日)。JAX を TPU 命令へ 翻訳するコンパイラの混合精度バグで、トークン選択を改善することを意図した変更が 引き金になりました。

この文書から内面化する価値のある詳細が 3 つあります。第一に、Anthropic はきっぱりこう 述べています。「需要、時刻、サーバー負荷を理由にモデル品質を下げることは決してありません」 — 特定の陰謀論は否定される一方で、無関係な 3 つの実在のバグは認められています。第二に、 検出に数週間かかった理由は社内 eval がそれを捉えなかったことです。ベンチマークは グリーンのままで、ユーザーのほうが正しかったのです。第三に、プライバシー管理により エンジニアは問題の会話をそのまま読むことができませんでした。

これがこの問題の正直な形です。劣化は実在し、たいていは意図ではなくインフラであり、 集計されたベンチマークはそれを見るのが苦手です。

5. いま、インシデントが開いている​

理論を立てる前に、status.claude.com を確認してください。 2026 年 9 月 29 日 — LiveNerf がトップページに載ったその日 — Anthropic は 14:21 UTC に claude.ai、Claude Code、Claude Cowork、API 全体でのエラー率上昇についてインシデントを開き、 14:30 に「パフォーマンス劣化」へ拡大し、14:41 に緩和策を適用しました。その 1 週間前の 9 月 22 日には、Opus 5、Mythos 5.1、Fable 5.1 を含む複数のモデルでエラーが発生しました。

「今日は悪くなった」という投稿の相当な割合が、すでに公に認知されている時間帯に投稿されて います。

6. 会話が長くなった​

現行の Claude モデルはすべて 100 万トークンのコンテキストウィンドウを謳っていますが、 品質はその全域で平坦ではありません。2 つの効果が重なります:

  • 長い会話は劣化する。 非常に長い前文に対する注意はタダではなく、200 ターン前に与えた 指示はそれ以降のすべてと競合します。
  • コンパクションが履歴を書き換える。 サーバー側のコンパクションは、トリガーの閾値に 近づくと以前のコンテキストを要約します。Claude Code もコンパクションを行います。 コンパクションのあと、モデルはあなたが伝えたと記憶しているものの要約から作業して います。モデルは忘れたのではありません。トランスクリプトが変わったのです。

知っておく価値があるもう一つ: Opus 4.7 で導入されたトークナイザーが換算レートを変えました。 100 万トークンは現行のトークナイザーでおよそ 55.5 万語、古いほうではおよそ 75 万語 です。同じ文書が、以前よりウィンドウの大きな割合を占めるのです。

7. あなたが変わった​

いちばん人気がなく、いちばんよくあるメカニズムです。1 週目には、モデルが得意だと すでに知っていることを頼みます。4 週目には、より大きなコードベースの上で、より長い CLAUDE.md を抱えて、新しかった頃に書いていた丁寧なプロンプトを書かなくなったまま、 より難しい質問をします。測定している量 — セッションあたりの自分の満足度 — には動く入力が 2 つあり、あなたは片方しか計測していません。

最も引用される「証拠」は eval のバグ​

モデルが悪くなったという証拠を 1 つ見たことがあるなら、たぶんこれです。 How Is ChatGPT's Behavior Changing over Time? で Chen、Zaharia、Zou は、GPT-4 の 「この数は素数か?ステップバイステップで考えよ」における正答率が 2023 年 3 月から 6 月に かけて 97.6% から 2.4% に落ちたと報告しました。これは至るところに広まりました。 いまも引用されています。

その後、Arvind Narayanan と Sayash Kapoor が テストセットを見ました。 500 個の数のすべてが素数でした。

3 月のモデルはほぼ常に「素数」と答えていました。6 月のモデルはほぼ常に「合成数」と答えて いました。全部素数のセットに対しては、それが 97.6% 対 2.4% になります — しかしそれは 推論ではなくバイアスの反転を測っています。500 個の合成数で走らせると、スコアは逆転 しました。どちらのバージョンも約数を調べてなどおらず、どちらも試すべき除数を列挙してから 推測していました。振る舞いは変わりました。能力は同じで、そしてもともと良くなかったのです。

Pro tip

保つべき区別。 振る舞いのドリフト — 書式、冗長さ、応じやすさ、デフォルトの推測の 違い — は実在し、よくあることで、ファインチューニングの文書化された副作用です。 能力の喪失ははるかに強い主張であり、はるかに強い証拠を必要とします。バズるナーフ主張の ほとんどすべては、前者を後者の装いで語ったものです。

その上にさらに 3 つの統計的な罠が乗っており、それらはあなた自身の印象にも当てはまります:

  • 答えが一方向に偏った eval は、技能ではなくバイアスを測る。 自分のテストセットが すべて「拒否すべき」あるいはすべて「成功すべき」なら、モデルのデフォルトの姿勢の変化が 崩壊のように見えます。
  • 証拠の選択バイアス。 「今日も Opus は問題なかった」と投稿する人はいません。あなたが 読んでいるフィードは悪い日だけを通すフィルタであり、モデルの人気が上がるほど密度が 上がります。
  • 平均への回帰。 あなたのベースラインは、最も感心した launch 週です — サンプルの極値で あるがゆえに、変わっていないモデルが最も再現しにくいものです。

測り方 — LiveNerf の設計​

LiveNerf は判定よりも方法論のほうが研究に値します。信頼できる答えが要求する設計そのもの だからです。リポジトリより(執筆時点で 662 スター、30 日中 6 日を収集済み):

Guided walkthrough1 of 6
  1. これらのモデルを決定論的にすることはできません — 現行ラインナップではサンプリングパラメータがなくなり、adaptive thinking はオフにできません。LiveNerf の答えは、その言い回しで言えば「それ以外のすべてを決定論的にする」こと。凍結したプロンプト、ピン留めした CLI バージョン、厳密な採点器、永久保存する生ログ。ノイズを取り除いているのではありません。動きうるものがノイズだけになるようにしているのです。

6 つすべてを最短で言えば、1 回の悪いセッションは証拠ではなく、1 回の良いセッションも 証拠ではない。

自分用の版を、安く​

GPQA の 78 問は必要ありません。必要なのは自分自身のタスクで、そのほうが優れています — あなたが気にしているのは自分のワークロードであって、MMLU-Pro ではないからです。 プロトコルは縮小できます:

個人向けナーフ検査プロトコル

1. Collect 20-30 real prompts from your own work.
 Keep only the ones you sometimes get a good answer to and sometimes don't.
 Drop anything that always works (ceiling) or never works (floor).

2. Write a grader you can run without thinking about it.
 Pass/fail is enough. A human rubric you apply inconsistently is worse than nothing.

3. Pin EVERYTHING that is pinnable:
 - exact model ID (e.g. claude-opus-5-5, never an alias on an older generation)
 - effort level, explicitly set - never inherited
 - one frozen system prompt, byte for byte
 - no tools, or exactly the same tool list every run
 - fresh conversation per item; no shared history

4. Baseline: run the whole set 5 times over the first week. Save raw outputs.

5. Re-run the identical set on the same schedule later.
 Compare item by item against the baseline - not set average to set average.

6. Add a control arm: the same items on a DIFFERENT model, same harness, same day.
 Both move together => your measurement moved, not the model.

7. Decide in advance what counts: e.g. "a drop of 3+ items, twice in a row,
 with the control flat." Write it down before you look at the numbers.

避けるべき失敗モードが 2 つ。世代にまだエイリアスが残っている場合、エイリアスを使わないで ください — エイリアスが指している先が何であれ、それを測ることになります。そして effort を セッション設定、スキル、サブエージェントのフロントマターから継承させないでください。 さもないと測っているのは自分の設定のドリフトです。

トラッカーが実際に見つけたもの​

2026 年 9 月 30 日時点で、公開トラッカーは Opus 5.5 のナーフを支持していません。LiveNerf は 計画した 30 日のうち 6 日分を、実行の取りこぼしなく収集した段階であり、したがって判定に 達していません — 自ら事前登録したルールにより、10 日間のウィンドウが 2 つ揃う前に判定は できません。もう一つのトラッカー、BridgeBench の NerfBench は、9 月下旬に Opus 5.5 を launch 時のおよそ 99.2% の性能、通常のばらつきの帯域に十分収まると位置づけたと報じられて います — これは情報源で検証できなかった数値です(上の注記を参照)。

そこから導ける正直な結論が 2 つ。これまでの実証的な証拠は「検出可能な変化なし」を指して おり、そして「検出可能な変化なし」の正直な版には検出下限が含まれます。3 ポイントの最小 効果量を持つ 78 問のペアパネルは、実在する 1 ポイントの低下を丸ごと見逃しうるのです。 劣化の証拠がないことは劣化がないことの証拠ではありません — そして厳密なトラッカーは、 自分がどちらを持っているのかを教えてくれます。

10 分のトリアージ​

何かを結論づける前に、この順で:

Guided walkthrough1 of 6
  1. status.claude.com。オープンなインシデントがあれば調査は終了です。2026 年 9 月 29 日には、パフォーマンス劣化の時間帯とナーフ議論のピークが同じ午後でした。
Enter キーまたはスペースキーでカードを裏返します。左右の矢印キーでカードを移動できます。用語を表示しました。
1 / 8

クイズ​

Check yourself

0/6
  1. モデル ID claude-opus-5-5 で Claude API を呼んでおり、2 週間で出力品質が目に見えて落ちました。何も測定せずに最初に除外できる説明はどれですか?
  2. GPT-4 の「この数は素数か?」における正答率が、2 つのバージョン間で 97.6% から 2.4% に落ちました。その後の分析が明らかにしたことは?
  3. モデル劣化を調べる自分用の検査を作っています。30 個のプロンプトは今日すべて正しい答えを得ました。このパネルがほぼ役に立たないのはなぜですか?
  4. Claude Code のセッション途中、セキュリティに関する質問をした直後から回答が明らかに弱くなりました。最も可能性の高い原因は?
  5. あるトラッカーが、事前登録した最小効果量 3 ポイントの 78 問ペアパネルを使って、検出可能な劣化なしと報告しました。これはあなたに何を言うことを許しますか?
  6. 実際に出力を劣化させた 2025 年 8 月の 3 つのインフラのバグを、Anthropic の社内評価が捉えられなかったのはなぜですか?

次に​

出典と参考文献​

  • ninjahawk/livenerf — Opus 5.5 向けのペア設計・対照群・事前登録トラッカー。完全なプロトコルは README を参照
  • A postmortem of three recent issues — 実在した劣化についての Anthropic 自身の説明:ルーティング、TPU の設定ミス、XLA コンパイラのバグ
  • Models overview — 固定スナップショットの記述、effort のデフォルト、コンテキストとトークナイザーの注記
  • Model IDs and versioning — 世代をまたいでエイリアスとスナップショットがどう違うか
  • System prompt release notes — 公開された日付付きのプロダクトシステムプロンプトと、それらが API には適用されないという注記
  • Claude Code model configuration — フォールバックチェーン、コンテンツフラグによるフォールバック、effort レベル、サブエージェントのモデル優先順位
  • Claude status — 理論を立てる前にこれを確認
  • How Is ChatGPT's Behavior Changing over Time? — Chen、Zaharia、Zou。97.6%→2.4% という数値の出典
  • Is GPT-4 getting worse over time? — Narayanan と Kapoor による訂正:全部素数のテストセットと、振る舞いのドリフト対能力の喪失
  • anthropics/claude-code#3434 — ユーザーが体験したままの、静かな Opus→Sonnet フォールバックの issue