幻觉(Hallucination)指大语言模型生成的内容看似流畅、逻辑自洽,但实际上是错误的、虚构的或凭空捏造的。
典型的幻觉表现:
- 编造不存在的引用、论文、法规条款,但格式像模像样。
- 张冠李戴:把事实、人物、时间安错位置。
- 对不知道的事情「自信作答」:模型不会说「我不知道」,而是生成一个合理但不真实的答案。
根本原因是模型的工作机制:大模型不是「查数据库回答问题」,而是基于概率预测下一个词。它学习的是「什么样的回答看起来像正确答案」,而不是「哪个答案是事实」。因此:
- 知识截止日期之后的信息,模型不知道,只能「编」。
- 训练数据中少见或矛盾的内容,模型容易混淆。
- 用户要求的信息越具体(人名、数字、出处),模型「补全」出错的风险越高。
这不是「模型坏」,而是「模型不是搜索引擎」——它生成的是「最可能的文本」,不是「已验证的事实」。
- 引用与出处:让模型给参考文献、新闻来源、具体数据出处——幻觉高发区。
- 时效性信息:政策、价格、排行榜等会变化的现实信息。
- 长数字与细节:电话号码、网址、产品参数,越具体越容易编。
- 专业术语:跨领域提问时,模型可能把相似概念搞混。
- 检索增强(RAG):让模型先检索资料再回答,是当前最有效的缓解手段——「基于资料回答,答不出就说不知道」。
- 要求引用来源:让模型给出依据,至少把「无依据的编造」暴露出来供你核对。
- 限定知识边界:在提示词里说明「只基于我提供的内容回答」「不确定时明确说不确定」。
- 人工复核关键信息:事实性内容(法律、医疗、财务、引文)务必人工核对原文,不要直接采用。
- 交叉验证:重要结论用多个来源对照,或用工具的联网/搜索能力核验。
- 「模型越强幻觉越少」:更强模型通常更流畅,流畅不等于正确;幻觉率下降但不为零。
- 「加一句『不要编造』就安全」:能缓解但不能根除,关键在机制(RAG)与人工复核。
- 「幻觉等于模型故障」:是机制特性,使用方式(提示词、资料供给)决定了幻觉的影响面。
幻觉是大模型「概率生成」机制的副产品,无法根除但可以管理:重要信息走 RAG + 人工复核,把模型当「起草者」而不是「事实来源」,幻觉的风险就可控。对事实要求严格的场景,务必以原始资料为准。