Перейти к основному содержимому

Галлюцинации и как их уменьшить

Средний

Галлюцинация — это когда модель с полной уверенностью утверждает что-то ложное. Это не ложь и не поломка — это обратная сторона того, как работают LLM: они генерируют правдоподобный текст, а правдоподобный не всегда правдивый (см. Что такое LLM?). Промптами это полностью не убрать, но можно резко уменьшить и поймать остальное.

Почему это происходит​

Модель предсказывает вероятное продолжение. Когда она чего-то «не знает», самое правдоподобно выглядящее продолжение часто оказывается уверенным, хорошо сформулированным — и неверным — ответом. Встроенного сигнала «я не уверен» нет, если вы не создадите для него место.

Зоны высокого риска​

Будьте максимально скептичны, когда вывод касается:

  • Цитат, ссылок и источников — выдуманные статьи, фейковые URL, неправильно атрибутированные цитаты.
  • Конкретных чисел, дат и статистики — правдоподобные, но придуманные цифры.
  • Нишевых или очень свежих фактов — за пределами того, что модель надёжно усвоила.
  • Деталей API и библиотек — методы или параметры, которых не существует.
  • Людей и юридических/медицинских деталей — высокие ставки, легко тонко ошибиться.

Набор инструментов для снижения​

Складывайте их — каждый помогает:

  1. Заземлите на источниках. Вставьте текст источника и скажите «отвечай только по тексту выше; если этого там нет — так и скажи». Это ключевая идея, стоящая за RAG.
  2. Дайте ей путь к отступлению. Явно разрешите «Если не уверен, скажи „я не знаю“» — это резко снижает уверенные догадки.
  3. Просите рассуждения и цитаты. «Процитируй точное предложение, которое подтверждает каждое утверждение». Неподтверждённые утверждения станут очевидны.
  4. Снижайте креативность для фактологических задач там, где модель предоставляет управление температурой (см. Управление сэмплированием).
  5. Используйте инструменты. Для математики, актуальных данных или поиска дайте модели калькулятор/поиск/инструмент вместо того, чтобы доверять её памяти.
  6. Перепроверяйте. Задайте тот же вопрос двумя способами или пусть второй проход раскритикует первый.

Образ мышления, который действительно вас защищает​

:::warning Проверяйте то, что важно, — всегда Никакой промпт не делает вывод на 100% надёжным. Для всего значимого — числа в отчёте, цитаты, команды, которые вы запустите, медицинской/юридической/финансовой детали — сверяйте это с доверенным источником. Относитесь к ИИ как к быстрому первому черновику, а не как к финальной инстанции. Это суть Ответственного использования. :::

Простое правило: цена ошибки задаёт объём проверки. Мозговой штурм? Доверяйте свободно. Публикуете статистику? Проверяйте каждый раз.

Дальше​