幻觉及其减少方法
**幻觉(hallucination)**指模型以十足的自信陈述某个错误的内容。它不是在撒谎,也不是坏了——这是 LLM 工作方式的另一面:它们生成看似合理的文本,而看似合理并不总是真的(参见 什么是 LLM?)。你无法靠提示词把它完全消除,但你可以大幅减少它,并把剩下的揪出来。
它为什么会发生
模型预测一个可能的续写。当它"不知道"某件事时,看起来最可能的续写往往是一个自信、措辞完整——却错误的——答案。除非你给它留出空间,否则没有内建的"我不确定"信号。
高风险区域
当输出涉及以下内容时,最应保持怀疑:
- 引文、引述与参考文献——捏造的论文、伪造的 URL、错误归属的引述。
- 具体的数字、日期与统计数据——看似合理却虚构的数字。
- 冷门或非常近期的事实——超出模型可靠学到的范围。
- API 与库的细节——不存在的方法或参数。
- 人物及法律/医疗细节——风险高,且容易出现微妙的错误。
减少幻觉的工具箱
把这些叠加起来——每一项都有帮助:
- 把它锚定在来源上。 粘贴源文本并说*"只根据上面的文本回答;如果文本里没有,就说没有。"*这正是 RAG 背后的核心思想。
- 给它一个台阶。 明确允许*"如果你不确定,就说'我不知道'"*——这能极大减少自信的瞎猜。
- 要求推理与引用。 *"引用支持每条主张的那一句原话。"*没有依据的主张就会一目了然。
- 降低创造性——对于模型暴露温度控制的事实类任务(参见 采样控制)。
- 使用工具。 对于数学、当前数据或查询,给模型一个计算器/搜索/工具,而不是相信它的记忆。
- 交叉核对。 用两种方式问同一个问题,或让第二轮去评判第一轮。
真正能保护你的心态
:::warning 重要的内容——永远核实 没有任何提示词能让输出 100% 可靠。对于任何有后果的内容——报告里的一个数字、一条引文、一个你将要执行的命令、一项医疗/法律/金融细节——都要对照可信来源去核对。把 AI 当作快速的初稿,而非最终权威。这正是 负责任地使用 的核心。 :::
一条简单的规则:出错的代价决定了核实的力度。 头脑风暴?尽管信任。发布一项统计数据?每次都核实。