Перейти к основному содержимому

Что такое LLM?

Начальный

Большая языковая модель (LLM) — технология, стоящая за Claude, — делает одну обманчиво простую вещь: она читает текст и предсказывает, что идёт дальше, по одному фрагменту за раз. Вот и всё. Всё остальное возникает из того, что она делает это поразительно хорошо.

What you'll learn
  • Усвоить ментальную модель в одно предложение: LLM — это очень изощрённое автодополнение
  • Увидеть, как модель строит ответ по одному токену за раз, в цикле
  • Понять, почему этот механизм объясняет и её сильные стороны, и её причуды
  • Знать, чем LLM НЕ является — и как это меняет способ её использования

Ментальная модель в одно предложение​

LLM — это очень изощрённое автодополнение, которое прочитало огромное количество текста и усвоило закономерности того, как язык — и идеи внутри него — склонны продолжаться.

Когда вы задаёте вопрос, модель не «ищет» ответ. Она генерирует наиболее правдоподобное продолжение вашего текста, токен за токеном (см. Токены и контекст). Правдоподобные продолжения хорошего вопроса обычно являются хорошими ответами — вот почему это вообще работает.

:::tip Аналогия: предиктивная клавиатура на стероидах Вспомните автодополнение на вашем телефоне, которое подсказывает следующее слово. А теперь представьте, что оно прочитало большинство книг, статей и кода в интернете — и подсказывает не просто следующее слово, а целое эссе, перевод или программу, которые подходят по смыслу. Вот интуиция, стоящая за LLM. :::

По одному токену за раз​

Весь движок — это цикл: прочитать всё, что есть на данный момент, предсказать следующий фрагмент, добавить его, повторить.

Guided walkthrough1 of 4
  1. Модель принимает ваш промпт плюс всё, что сгенерировано на данный момент, как единый блок текста.

Каждый шаг всегда предсказывает только один токен, а затем подаёт чуть более длинный текст обратно. У модели нет заранее составленного плана всего ответа целиком — связность возникает из того, что это предсказание выполняется крайне хорошо, тысячи раз. То, как ведёт себя шаг «выбрать один токен» (жадно или немного случайно), регулируют параметры сэмплирования, такие как температура.

Почему это объясняет её сильные стороны​

Поскольку она усвоила закономерности в текстах, коде и рассуждениях, LLM может плавно писать, резюмировать, переводить, объяснять и кодить — задачи, которые все сводятся к «продолжи этот текст осмысленно». Дайте ей чёткую завязку, и она выдаст сильное продолжение. Вот почему промптинг так важен: вы формируете начало текста, который она продолжает.

Почему это объясняет её причуды​

Тот же механизм объясняет шероховатости:

  • Она может быть уверенно неправа. Гладко звучащее продолжение не всегда правдиво — это галлюцинация.
  • Она по-настоящему не «знает» сегодняшние факты, если вы их не предоставите или у неё нет инструмента, чтобы их найти.
  • У неё нет памяти между разговорами, если вы её не дадите.

Чем LLM не является​

:::warning Скорректируйте свои ожидания — и получите результаты лучше

  • ❌ Не база данных и не поисковик. Она генерирует, а не извлекает проверенные записи.
  • ❌ Не калькулятор. Она может рассуждать о математике, но точность не гарантирована — дайте ей для этого инструменты.
  • ❌ Не человек. Никаких чувств, намерений или непрерывной памяти. Это мощный текстовый движок. :::

Относитесь к ней как к блестящему, быстрому, начитанному ассистенту, который иногда что-то путает, — и проверяйте то, что важно.

Ключевые термины​

Повторите основные концепции
Нажмите Enter или пробел, чтобы перевернуть карточку. Используйте стрелки влево и вправо для перехода между карточками.Показан термин.
1 / 5
Key takeaways
  • LLM — это очень изощрённое автодополнение: она предсказывает следующий токен, а не ищет ответ
  • Связность возникает из выполнения этого цикла предсказания по одному токену за раз, тысячи раз
  • Тот же механизм объясняет и её сильные стороны (писать, резюмировать, переводить, объяснять, кодить), и её причуды (уверенно неправа, нет актуальных фактов, нет памяти)
  • Это не база данных, не калькулятор и не человек — проверяйте то, что важно

Проверьте себя​

Проверьте себя

0/3
  1. Что фундаментально делает LLM, когда вы задаёте ей вопрос?
  2. Почему LLM может быть уверенно неправа?
  3. Какое утверждение об LLM верно?

Дальше​