导读：OpenAI 近日发布的全新 Atlas 浏览器，正在遵循网页中恶意嵌入的命令，这种攻击类型称为间接提示注入。

Brave Software 在上周二发布的一份报告指出，即时注入漏洞是集成了 Perplexity 的Comet和Fellou（https://fellou.ai/）等 AI 代理的浏览器的一个常见缺陷。

当 AI 模型或代理处理网页或图像等内容，并将其视为指令任务的一部分时，会发生间接型指令注入。而直接指令注入是指直接在模型输入框中输入指令，绕过或覆盖现有的系统指令。

Brave 高级移动安全工程师 Artem Chaikin 和隐私与安全副总裁 Shivan Kaul Sahib 在一篇帖子中写道：“我们的发现证实了我们最开始的担忧：间接提示注入不是一个孤立的问题，而是整个人工智能浏览器类别面临的系统性挑战。”

编辑阿夫拉姆·皮尔奇（Avram Piltch）创建了一个网页，上面写着一段文字，指示浏览器打开Gmail，获取第一封邮件的主题行，并将其发送到另一个网站。结果有人就上当了。

ChatGPT Atlas 的产品负责人 Pranav Vishnu 也曾警告潜在用户，OpenAI 的浏览器-AI 嵌合体可能会带来一些风险。 

而互联网社区很快就展示了使用 Atlas（它也是基于 Chromium 的浏览器）进行间接提示注入，该浏览器使 ChatGPT 可以作为能够处理网页数据的代理。

开发者 CJ Zafir在社交媒体帖子中表示，在发现“即时注入是真实存在的”后，他卸载了 Atlas。

另一位安全研究人员还报告了使用 Google Docs成功进行的提示注入测试， 而且过能够复制该测试，当被要求分析文档时，让 Atlas 中的 ChatGPT 打印“Trust No AI”而不是实际的文字摘要。

人工智能安全研究员 Johann Rehberger 发现过许多其他针对人工智能模型和工具的提示注入攻击，他发布了自己基于 Google Docs 的提示注入演示，其中“恶意”指令将浏览器模式从暗黑变为高亮。

OpenAI 首席信息安全官 Dane Stuckey 周三在 X 上发表了一篇长文，承认了快速注入的可能性，并谈到了各种缓解策略。

他表示，OpenAI 的长期目标是让人们信任 ChatGPT 的AI代理，就像信任一位注重安全的朋友或同事一样，公司正在努力实现这一目标。言下之意是，现在就信任 Atlas 还有点儿为时过早。

Stuckey 表示：“为了此次发布，我们进行了广泛的红队演练，采用了新颖的模型训练技术来奖励忽略恶意指令的模型，实施了重叠的防护措施和安全措施，并添加了新的系统来检测和阻止此类攻击。然而，即时注入仍然是一个尚未解决的前沿安全问题，我们的对手将花费大量时间和资源来寻找让 ChatGPT 代理遭受此类攻击的方法。”

他解释说：“从高层次来看，即时注入仍然是人工智能安全领域最主要的新兴威胁之一，它影响数据的机密性、完整性和可用性，而且这种威胁还没有完美的缓解措施——就像针对人类的社会型工程攻击一样。”

OpenAI 已经实施了防护措施和安全控制措施，让利用漏洞的人有挑战性。然而，网站上精心设计的内容（也称之为攻击性上下文工程）仍然可以诱使 ChatGPT Atlas 发出攻击者控制的文本响应或调用工具来采取行动。昨天，有用户展示了一个良性恶作剧演示，通过让网站在用户与浏览器交互时改变浏览器窗口的外观，演示了 ChatGPT Atlas 的这一功能。

这也体现出 Rehberger 所表示的，在 LLM 输出的下游实施实际的安全控制以及人工监督至关重要。

“Atlas 为此引入了新的登录/注销模式，以便平衡了解其影响的用户面临的部分风险，让他们更好地控制数据访问，”他这样解释道。“这是一种很有意思的方法，很明显，OpenAI 意识到了这一威胁，并正在努力寻找解决方案来应对这一挑战。”

Rehberger 表示，代理人工智能系统的发展仍然处于早期阶段，许多威胁甚至尚未被发现。

在去年 12 月发表的一篇预发行论文中，Rehberger 描述了即时注入如何破坏信息安全支柱CIA 三要素（机密性、完整性和可用性）。

他这样总结说：“由于即时注入没有确定性的解决方案，因此强调并记录应用程序可以做出的安全保障至关重要，尤其是在构建处理不可信数据的自动化系统时。作者在漏洞利用演示中经常使用的信息仍然是：不要信任人工智能。”

有网友如此总结道：

在当今的大语言模型中，提示型注入可能无法解决。LLM 处理令牌序列，但不存在标记令牌权限的机制。提出的每个解决方案都会引入新的注入向量：分隔符。攻击者的指令包括分隔符的层次结构。而现有的改进模型的机制无助于防止攻击...

有网友评论并总结三条：

1. 不要从 Atlas 登录你的宝贵帐户。

2.默认禁用JS。

3. 让 Atlas 要求您为您信任的特定站点手动启用 JS。

还有的网友在后面补充了一条：

4. 不要安装 Atlas，如果已经安装，请将其删除。

编译：洛逸

相关参考：

https://www.nccoe.nist.gov/publication/1800-26/VolA/index.html

https://arxiv.org/pdf/2412.06090