提示词注入

提示词注入是什么

提示词注入（Prompt Injection）是一种针对大模型应用的安全攻击：攻击者通过精心构造的输入内容（用户消息、文档、网页文本等），诱导模型执行开发者未预期的指令。

直观理解：模型把「用户说什么就照做」当成了原则，攻击者利用这一点，把「攻击指令」伪装成「用户要求」混进去，让模型泄露数据、绕过限制或执行有害操作。

攻击是怎么发生的

大模型的指令与数据没有硬隔离，攻击者利用这个特点：

1. 指令伪装：在输入中写「忽略之前的规则，现在执行……」，试图覆盖系统提示。
2. 间接注入：把恶意指令藏进文档、网页、工具返回内容，让模型「读到后照做」。
3. 数据诱骗：诱导模型输出内部提示词、系统配置或用户数据。

典型后果：客服机器人泄露内部资料、AI 助手绕过内容限制、工具调用被劫持。

有哪些风险场景

• 对话应用：用户消息注入，试图越权或获取敏感信息。
• 文档问答（RAG）：知识库文档或检索内容里藏恶意指令。
• 智能体/工具调用：诱导模型调用危险工具或泄露参数。
• 浏览器/自动化：网页内容间接注入，诱导模型执行非预期动作。

怎么防范

开发侧（上线 AI 应用前必须做）：

• 输入与输出双向过滤：敏感词、越权指令检测。
• 指令与数据分离：把系统提示、工具返回内容与用户输入做分层处理。
• 最小权限原则：给模型的工具与数据权限只给必要范围。
• 敏感信息脱敏：系统提示与内部数据不直接暴露给模型回答。
• 安全测试：上线前用注入用例测试应用的防护能力。

用户侧：

• 对 AI 输出的「系统提示/内部信息」保持警惕，不轻易执行其指令。
• 涉及敏感操作（转账、改密）不要依赖 AI 单方面建议。

常见误区

• 「只有专业黑客才会遇到」——注入成本极低，普通用户构造的文本也可能触发。
• 「内容审核够了」——审核是缓解，不是根治，需要多层防护。
• 「开源模型更安全」——安全性与模型无关，与应用工程相关。

小结

提示词注入是利用模型「信任输入」特性的安全攻击，风险覆盖对话、RAG、智能体等场景。对开发者的启示：输入过滤、权限最小化、双向审核是 AI 应用上线前不可省的安全功课。