Перейти к основному содержимому

Галлюцинации и как их уменьшить

Средний
What you'll learn
  • Понять, ПОЧЕМУ модели выдают уверенные, грамотно оформленные ложные ответы
  • Распознавать 5 зон повышенного риска, где стоит быть наиболее скептичным
  • Применять набор из 6 инструментов, чтобы радикально снизить галлюцинации
  • Использовать один готовый антигаллюцинационный промпт, который привязывает ответ к источнику, даёт возможность отступить и требует цитат
  • Принять образ мышления, при котором объём проверки соответствует цене ошибки

Галлюцинация — это когда модель с полной уверенностью утверждает что-то ложное. Она не лжёт и не сломана — это обратная сторона того, как работают LLM: они генерируют правдоподобный текст, а правдоподобное не всегда истинно (см. Что такое LLM?). Полностью убрать это с помощью промпта нельзя, но можно резко снизить частоту и отловить остальное.

Почему это происходит​

Модель предсказывает вероятное продолжение. Когда она чего-то «не знает», наиболее правдоподобным на вид продолжением часто оказывается уверенный, грамотно оформленный — и неверный — ответ. Встроенного сигнала «я не уверена» нет, если только вы сами не создадите для него место.

Pro tip
  • Способ исправить большинство галлюцинаций — намеренно создать место для неуверенности: дать модели разрешение сказать, что она не знает.

Зоны повышенного риска​

Будьте максимально скептичны, когда вывод касается:

  • Цитат, ссылок и источников — выдуманные статьи, фальшивые URL, неверно приписанные цитаты.
  • Конкретных чисел, дат и статистики — правдоподобные, но придуманные цифры.
  • Узкоспециальных или совсем свежих фактов — за пределами того, что модель надёжно усвоила.
  • Деталей API и библиотек — методы или параметры, которых не существует.
  • Сведений о людях и юридических/медицинских деталей — высокие ставки, легко ошибиться в нюансах.

Набор инструментов для снижения​

Комбинируйте их — каждый помогает:

Guided walkthrough1 of 6
  1. Вставьте исходный текст и скажите «отвечай только по тексту выше; если этого там нет, так и скажи». Это основная идея, лежащая в основе RAG (/docs/foundations/rag).

Готовый антигаллюцинационный промпт для копирования​

Большая часть набора инструментов выше сводится к одной многоразовой обёртке. Вставьте свой источник в указанное место и задайте вопрос — она привязывает ответ к источнику, даёт модели возможность отступить и требует цитат за один раз:

Антигаллюцинационная обёртка

You answer ONLY from the SOURCE below.
Rules:
- If the answer is not in the SOURCE, reply exactly: "Not stated in the source."
- After every claim, quote the exact sentence from the SOURCE that supports it.
- Do not add outside knowledge, estimates, or assumptions.

SOURCE:
"""
[paste the document, transcript, or data here]
"""

QUESTION: [your question]

Почему это работает: лазейка «Not stated in the source» снимает давление, заставляющее угадывать, а правило цитирования предложения делает невозможным скрыть любое неподтверждённое утверждение. Убирайте блок SOURCE, когда вам действительно нужны собственные знания модели — но тогда проверка снова ложится на вас.

Образ мышления, который действительно вас защищает​

Watch out
  • Ни один промпт не делает вывод на 100% надёжным. Для всего значимого — числа в отчёте, ссылки, команды, которые вы запустите, медицинских/юридических/финансовых деталей — сверяйте это с надёжным источником. Относитесь к ИИ как к быстрому первому черновику, а не как к финальному авторитету. В этом суть Ответственного использования (/docs/security/responsible-use).

Простое правило: цена ошибки определяет объём проверки. Мозговой штурм? Доверяйте свободно. Публикуете статистику? Проверяйте каждый раз.

Key takeaways
  • Галлюцинации — это побочный продукт генерации на основе правдоподобия, а не баг, который можно полностью убрать промптом.
  • Будьте максимально скептичны с цитатами, числами/датами, узкоспециальными или свежими фактами, деталями API и сведениями о людях/юридических/медицинских деталях.
  • Комбинируйте набор инструментов: опирайтесь на источники, давайте возможность отступить, требуйте цитат, снижайте температуру, используйте инструменты, перепроверяйте.
  • Одна обёртка-промпт привязывает ответ к источнику + даёт возможность отступить + требует цитат за один раз.
  • Соотносите объём проверки с ценой ошибки — доверяйте свободно, когда дёшево, проверяйте каждое утверждение, когда это значимо.

Проверь себя

0/5
  1. Почему модели галлюцинируют?
  2. Что из перечисленного является зоной повышенного риска, где стоит быть наиболее скептичным?
  3. Каков самый прямой эффект от того, что вы даёте модели явную возможность отступить, например «Если не уверен, скажи „Я не знаю“»?
  4. Какое правило определяет, сколько проверки требует ответ?
  5. В антигаллюцинационной обёртке-промпте что делает невозможным скрыть любое неподтверждённое утверждение?

Дальше​