塔斯娱乐资讯网

谷歌 DeepMind 和斯坦福的新论文发现,提示词中的一颗红心图片就能决定 AI 如何编写代码,简单的图像形状能引导 AI 执行无关任务,而且模型往往不会明说。 提示词中的纯色形状会改变 AI 模型编写代码的方式,尽管这些形状与之毫无关联。 视觉-语言模型现在会将截图和图像作为正常工作的一部分来读取 ​

谷歌 DeepMind 和斯坦福的新论文发现,提示词中的一颗红心图片就能决定 AI 如何编写代码,简单的图像形状能引导 AI 执行无关任务,而且模型往往不会明说。

提示词中的纯色形状会改变 AI 模型编写代码的方式,尽管这些形状与之毫无关联。

视觉-语言模型现在会将截图和图像作为正常工作的一部分来读取。如果一张无关图片改变了模型的选择,开发者就需要注意到这一点,最好能在模型自身的推理过程中看到。

他们在一个编码提示中添加了一个纯色形状,比如一颗红心,并指示模型去看它。在 288 种形状中,他们追踪了 Claude Opus 4.7、Gemini 3.1 Pro 和 GPT-5.4 选择递归的频率。

一颗红心让 Claude Opus 4.7 和 GPT-5.4 在二叉树问题上的递归解决方案从 0% 提升到 100%。当一个形状确实引导了 Gemini 3.1 Pro 时,其 71.5% 的思考轨迹称图像无关紧要。

如果你的代理会看到图像,请测试其有无图像时的决策,不要指望推理轨迹来标记视觉影响。