LLMとは何か？
大規模言語モデル（LLM）は、Claudeを支える技術であり、一見すると驚くほど単純なことを行います。テキストを読み込み、次に来るものを予測するのです。これを一度に1つのまとまりずつ行います。それだけです。それ以外のすべては、これを驚異的にうまくやることから生まれます。
- 一文のメンタルモデルを理解する：LLMは非常に高度なオートコンプリートである
- モデルがどのようにループの中で1トークンずつ答えを構築するかを見る
- なぜこの仕組みがLLMの強みと癖の両方を説明するのかを理解する
- LLMが「何でないか」を知り、それが使い方をどう変えるかを理解する
一文のメンタルモデル
LLMとは、膨大な量のテキストを読み込み、言語が——そしてその中にある考えが——どのように続いていく傾向があるかというパターンを学習した、非常に高度なオートコンプリートである。
質問をするとき、モデルは答えを「調べている」わけではありません。あなたのテキストの最ももっともらしい続きを、トークンごとに生成しているのです（トークンとコンテキストを参照）。良い質問のもっともらしい続きは、たいてい良い答えになります——だからこそこれが機能するのです。
:::tip たとえ：強化版の予測キーボード スマートフォンで次の単語を提案してくれるオートコンプリートを思い浮かべてください。今度はそれが、インターネット上のほとんどの本、記事、コードを読み込み、次の単語だけでなく、ぴったり合う1つのエッセイ、翻訳、プログラム全体を提案してくれると想像してみてください。それがLLMの直感的なイメージです。 :::
一度に1トークン
エンジン全体は1つのループです。ここまでのすべてを読み、次のまとまりを予測し、それを追加し、繰り返す。
- モデルは、あなたのプロンプトとこれまでに生成されたすべてを、1つのテキストの塊として取り込みます。
- 次のトークンが何になりうるかの確率を計算します。
- 1つのトークンを選択します。これが決定論的か、それとも少しランダムかは、temperatureのようなサンプリング制御が調整するものです。
- 選ばれたトークンがテキストに追加され、少し長くなったテキストが再び入力に戻されます——答えが完成するまでループします。
各ステップは常に1つのトークンだけを予測し、それから少し長くなったテキストを再び入力に戻します。モデルは答え全体の計画を最初から持っているわけではありません——一貫性は、この予測を極めてうまく、何千回も行うことから生まれます。「1つのトークンを選ぶ」ステップがどのように振る舞うか（貪欲か、少しランダムか）は、temperatureのようなサンプリング制御が調整するものです。
なぜこれが強みを説明するのか
LLMは文章、コード、推論にまたがるパターンを学習しているため、流れるように書く、要約する、翻訳する、説明する、コーディングすることができます——これらはすべて「このテキストを筋の通った形で続ける」タスクです。明確な設定を与えれば、強力な続きを生み出します。だからこそプロンプティングが非常に重要なのです。あなたは、モデルが続けるテキストの始まりを形作っているのです。
なぜこれが癖を説明するのか
同じ仕組みが、粗削りな部分も説明します。
- 自信たっぷりに間違うことがある。 流暢に聞こえる続きが、必ずしも真実であるとは限りません——それがハルシネーションです。
- 今日の事実を本当に「知っている」わけではない。 あなたがそれを提供するか、調べるためのツールを持っていない限りは。
- 会話と会話の間に記憶を持たない。 あなたが何らかの形で与えない限りは。
LLMが何でないか
:::warning 期待値を調整すれば、より良い結果が得られます
- ❌ データベースや検索エンジンではない。 生成するのであって、検証済みの記録を取り出すわけではありません。
- ❌ 電卓ではない。 数学について推論はできますが、正確である保証はありません——そのためにはツールを与えてください。
- ❌ 人間ではない。 感情も、意図も、継続的な記憶もありません。強力なテキストエンジンなのです。 :::
ときどき記憶を取り違える、優秀で速く、博識なアシスタントとして扱い、重要なことは検証してください。
重要な用語
- LLMは非常に高度なオートコンプリートである——答えを調べるのではなく、次のトークンを予測する
- 一貫性は、その予測ループを一度に1トークンずつ、何千回も実行することから生まれる
- 同じ仕組みが、強み（書く、要約する、翻訳する、説明する、コーディングする）と癖（自信たっぷりに間違う、リアルタイムの事実がない、記憶がない）の両方を説明する
- LLMはデータベースでも、電卓でも、人間でもない——重要なことは検証しよう