メインコンテンツまでスキップ
中級

信頼のはしご

What you'll learn
  • 自律性がオン/オフのスイッチではなく、一段ずつ登る「はしご」である理由
  • 影響範囲(ブラストラディウス)と可逆性で整理した5つの段階(モデルの賢さではなく)
  • 正しい段階を決めるための3つのルール:低めから始める、最悪ケースに合わせる、タスクごとに選ぶ
  • はしごが Claude Code のパーミッションモードにどう対応するか
  • CLAUDE.md の位置づけ ― 「頭の中にあるガードレール」をエージェントが実際に従えるものに変えるファイル

「AIにどこまで勝手にやらせていいのか?」という問いは、ほぼすべてのエージェントに関する判断の根底にあります。Claude Code のパーミッション、自動承認の設定、スクリプトを無人で実行させるかどうか。多くの人はこれを単一のオン/オフスイッチとして答えがちです。すべてを見張るか、完全に放任するか。

AILmanac が代わりに使っている見方はこうです。

自律性はスイッチではなく、はしごである。一段ずつ登るものであり、立つべき段は「モデルをどれだけ信頼しているか」ではなく「ミスがどれだけ深刻か」で決まる。

重要な洞察は、適切な自律性の量は、AIがどれだけ「賢い」かとはほとんど関係がないということです。問題は影響範囲(誤った行動がどれだけの損害をもたらすか)と可逆性(どれだけ簡単に元に戻せるか)です。優秀なモデルが不可逆的なことを監督なしに行う構成は、平凡なモデルが可逆的なことを行う構成よりも悪い設定です。

5つの段階​

私たちが有用だと考えているモデルは、自律性の低い順に5つの明確な段階として捉えることです。

段階AIが行うこと適切な場面安全にする要素
1. 提案のみ何をするつもりかを伝えるだけで、行動は取らない高リスクまたは不可逆的な作業、まだ信頼していない領域、何が得意かをまだ学んでいる段階実行者はあなた自身。あなたが手で行わない限り何も起きない。
2. レビュー用のドラフト実際の成果物(コード、メール、クエリ)を作成するが、適用前に止まる出力が具体的で、自分で書くより目を通す方が速い場合何かが効力を持つ前に、実際の人間が読む。流し読みではなく、本当に目を通すdiff。
3. 可逆的なものは実行直接実行するが、低リスクで簡単に元に戻せる行動に限るその行動にきれいな取り消し手段がある:バージョン管理下の編集、使い捨てブランチへの書き込み、1コマンドでロールバックできるもの可逆性こそがガードレール。 ミスのコストは「元に戻す」であって、「法務に説明する」ではない。
4. 実行してから報告自律的に作業し、その後に何をしたかを正確に見せる反復的で範囲が明確なタスクで、事前にゲートするより事後にレビューする方が安いもの完全で正直な監査証跡 ― ログ、diff、要約 ― を、あなたが実際に事後に読むこと。
5. ガードレール内での自律実行厳格な制限の中で無人で動く何度も成功するのを見てきた、狭く十分に理解されたループガードレールが監督を担う。 AIが越えられない厳格な境界と、キルスイッチ。

はしごの使い方​

3つのルールで実践的になります。

Guided walkthrough1 of 3
  1. 何かが動くのを見た後に一段登るのは安上がりですが、早すぎる段階で与えすぎた後始末は高くつきます。新しい種類のタスクにエージェントを初めて向けるときは、もっとこなせそうだと思っても「提案」か「ドラフト」まで下げてください。

Claude Code への対応付け​

Claude Code は、はしごが実際に機能する様子を見るのにうってつけの場所です。そのパーミッションシステムは本質的に、段階を選ぶためのダイヤルの集まりだからです。

  • 段階1〜2はデフォルトの慎重な姿勢:Claude が編集やコマンドを提案し、あなたが一つずつ承認します。すべてのdiffを着地前にレビューしている状態です。
  • 段階3は特定の可逆的なツール呼び出しを許可すること ― git restore で戻せる git リポジトリ内のファイル編集、使い捨てブランチでの実行など ― で、破壊的なものは引き続きゲートします。
  • 段階4は安全な行動のカテゴリを許可リストに入れ、それらについては Claude がプロンプトなしで進み、その後にトランスクリプトとdiffを読むことです。
  • 段階5は、狭く実証済みのループに対するより完全な自律性です。そしてこれは、本物のガードレール ― スコープを絞ったパーミッション、制約された作業ディレクトリ、停止できる手段 ― がある場合にのみ安全です。

安全に登ることを可能にする仕組みが、あなたの**CLAUDE.md**です。このファイルにガードレールを書き出します:常に許可されるもの、決して起きてはならないこと、立ち入り禁止のパス、止まって確認すべきタイミング。頭の中にしかないガードレールはエージェントを制約しませんが、CLAUDE.md に書かれたガードレールは制約します。どう表現すればよいか分からない場合は、CLAUDE.md ジェネレーターが構造化された出発点を提供します。

正直なまとめ:AIが有能そうだからという理由で自律性を与えてはいけません。行動が可逆的で、影響範囲が小さく、ガードレールが書き出されているからこそ与えるのです。 そして、証拠が集まるにつれて一段ずつ登ってください。

理解度チェック

0/3
  1. 約200回のテスト実行で一度も失敗したことのない実証済みのプロンプトがあります。いきなり段階5(自律実行)に飛ぶべきでしょうか?
  2. あるタスクは95%の確率で可逆的です。残りの5%は本番の課金データに触れます。どの段階でしょうか?
  3. 段階を安全に登ることを可能にするガードレールは、実際にはどこに存在するべきでしょうか?
Key takeaways
  • 自律性はスイッチではなくはしご ― 証拠が積み上がるにつれて一段ずつ登る。
  • 段階はモデルの賢そうさではなく、もっともらしい最悪の行動の影響範囲と可逆性で決める。
  • 段階3のガードレールは可逆性、段階4のガードレールは本物の監査証跡、段階5のガードレールは厳格な制限とキルスイッチ。
  • 段階はツールごとではなくタスクごとに選ぶ ― 同じエージェントが同じセッションで、整形には段階4、データベース削除には段階1でありうる。
  • ガードレールは CLAUDE.md とパーミッション設定に置く ― 頭の中ではなく。

関連​

次へ​