Trail of Bits的安全研究人员发现，GoogleGemini CLI和其他生产环境中的AI系统可能被图像缩放攻击所欺骗，这是机器学习系统面临的一个众所周知的对抗性挑战。
Google认为这个问题并不构成安全漏洞，因为它依赖于非默认配置才能实现攻击。
图像缩放攻击的概念最初在2019年的USENIX安全会议论文中被讨论，该研究基于此前关于对抗性样本的工作，这些样本能够混淆计算机视觉系统。这种技术涉及将提示信息嵌入到图像中，指示AI违反其准则行事，然后操纵图像来对人眼隐藏提示信息。这需要以特定方式准备图像，使恶意提示编码与模型采用的任何图像缩放算法产生交互。
在一篇博客文章中，Trail of Bits安全研究人员Kikimora Morozova和Suha Sabi Hussain解释了攻击场景：受害者将恶意制作的图像上传到易受攻击的AI服务，底层AI模型根据图像中的隐藏指令执行数据窃取操作。
"通过传递用户不可见的多模态提示注入，我们在包括Google Gemini CLI在内的系统上实现了数据泄露，"Morozova和Hussain写道。"这种攻击之所以有效，是因为AI系统通常在将大图像发送到模型之前会将其缩小：当缩放时，这些图像可能会暴露在全分辨率下不可见的提示注入。"
提示注入发生在生成式AI模型接收到包含可信和不可信内容混合的输入时。这与越狱不同，后者只是旨在绕过安全机制的输入。
提示注入可能是直接的（由用户输入），也可能是间接的（当用户指示模型处理包含模型可以执行的指令的内容时）。后者的一个例子是要求AI模型总结包含恶意指令的网页——模型由于没有区分预期和非预期指令的固有能力，会简单地尝试遵循所有命令。
Morozova和Hussain描述的图像缩放攻击是一种间接提示注入形式，它比许多其他技术有更高的成功几率，因为恶意文本对用户是隐藏的——只有通过缩小图像的过程才会暴露。
为了展示该技术的真实恶意潜力，Morozova和Hussain开发了一个名为Anamorpher的开源工具，可用于制作针对三种常见缩放算法的图像：最近邻插值、双线性插值和双三次插值。
研究人员表示，他们已经成功对以下系统实施了图像缩放攻击：使用Gemini后端的Vertex AI、Gemini的网络界面、通过llm CLI的Gemini API、Android手机上的Google Assistant，以及Genspark智能体浏览器。
Google指出，该攻击仅在Gemini的非标准配置下才有效。
"我们认真对待所有安全报告，并感谢安全社区的研究，"Google发言人告诉The Register。"我们的调查发现，所描述的行为在Gemini CLI的默认安全配置中并不构成漏洞。"
Google发言人解释说，要使攻击成为可能，用户首先需要明确声明他们信任输入，覆盖默认设置，然后摄取恶意文件。
"正如我们项目存储库中记录的那样，我们强烈建议开发者只提供对他们信任的文件和数据的访问权限，并在沙箱内工作，"Google发言人说。"虽然我们为用户提供高级配置选项和安全功能，但我们正在借此机会在工具中为任何选择禁用此保护措施的用户添加更明确的警告。"
Trail of Bits研究人员建议不要在智能体AI系统中使用图像缩放。如果必须使用，他们认为应该始终向用户展示模型实际看到的内容预览，即使是CLI和API工具也应如此。
但实际上，他们表示AI系统需要系统性防御措施来降低提示注入的风险。
Q&A
Q1：什么是图像缩放攻击？它是如何工作的？
A：图像缩放攻击是一种对抗性攻击技术，通过将恶意提示嵌入图像中，然后利用AI系统的图像缩放过程来暴露这些隐藏指令。攻击者制作特殊图像，在全分辨率下恶意文本对人眼不可见，但当AI系统缩放图像时会暴露出来，从而欺骗AI模型执行未授权操作。
Q2：Google Gemini是否存在安全漏洞？
A：Google认为这不是安全漏洞，因为攻击只在非默认配置下才能成功。用户需要明确声明信任输入并覆盖默认安全设置，然后处理恶意文件才可能受到攻击。Google建议开发者只访问可信文件并在沙箱环境中工作。
Q3：如何防范图像缩放攻击？
A：研究人员建议不在智能体AI系统中使用图像缩放，如果必须使用则应向用户显示模型实际看到的内容预览。更重要的是，AI系统需要建立系统性防御措施来降低提示注入风险，包括更严格的输入验证和安全配置。
