ハルシネーションとその減らし方
**ハルシネーション（幻覚）**とは、モデルが誤ったことを完全な自信をもって述べることです。嘘をついているわけでも壊れているわけでもありません。LLMの仕組みの裏返しなのです。LLMはもっともらしいテキストを生成しますが、もっともらしいことが常に真実とは限りません（LLMとは何か？を参照）。これをプロンプトで完全に消し去ることはできませんが、大幅に減らし、残りを捕まえることはできます。
なぜ起こるのか
モデルは、ありそうな続きを予測します。何かを「知らない」とき、最もそれらしく見える続きは、しばしば自信に満ちた、整った——そして誤った——回答になります。そのための余地を作らない限り、組み込みの「自信がない」というシグナルは存在しません。
高リスクの領域
出力が次のものを含むときは、最も懐疑的になりましょう。
- 引用、引用文、参考文献 — 捏造された論文、偽のURL、誤った帰属の引用文。
- 特定の数値、日付、統計 — もっともらしいが捏造された数字。
- ニッチまたは非常に最近の事実 — モデルが確実に学習した範囲を超えるもの。
- APIやライブラリの詳細 — 存在しないメソッドやパラメータ。
- 人物および法律/医療の具体的事項 — 重大で、微妙に間違えやすい。
削減のためのツールキット
これらを積み重ねましょう。それぞれが役立ちます。
- ソースに根拠づける。 ソーステキストを貼り付け、*「上のテキストからのみ回答してください。そこになければ、ないと言ってください」*と伝えます。これがRAGの背後にある中心的なアイデアです。
- 逃げ道を与える。 *「確信がなければ『わかりません』と言ってください」*と明示的に許可します。自信に満ちた当て推量が劇的に減ります。
- 推論と引用を求める。 「各主張を裏付ける文をそのまま引用してください」。裏付けのない主張が一目瞭然になります。
- 創造性を下げる。 モデルが温度（temperature）の制御を公開している事実タスクでは下げましょう（サンプリング制御を参照）。
- ツールを使う。 計算、最新データ、検索には、記憶に頼らせず、電卓/検索/ツールを与えましょう。
- 相互チェック。 同じ質問を2通りの方法で尋ねるか、2回目のパスで1回目を批評させましょう。
本当にあなたを守る心構え
:::warning 重要なことは——常に——検証する 出力を100%信頼できるものにするプロンプトはありません。重要なことなら何でも——レポートの中の数値、引用、これから実行するコマンド、医療/法律/金融の詳細——信頼できるソースと照合して確認しましょう。AIは最終的な権威ではなく、速い初稿として扱いましょう。これが責任ある利用の核心です。 :::
シンプルなルール：間違っていることのコストが、検証の量を決める。 ブレインストーミング中？自由に信頼しましょう。統計を公表する？毎回検証しましょう。