Rohan Paul

太有趣了。 🤔 谷歌 DeepMind 和斯坦福大学的新论文发现，提示中的红心图片可以决定人工智能如何编写代码，图像中的简单形状可以引导人工智能执行不相关的任务，而模型通常不会这么说。 提示中的纯色形状改变了人工智能模型编写代码的方式，尽管这些形状与之无关。 视觉语言模型现在将读取屏幕截图和图像作为正常工作的一部分。如果不相关的图片改变了模型的选择，构建者需要看到它，最好是模型自己的推理。 他们在编码提示中添加了一个纯色形状（例如红心），并告诉模型查看它。在 288 个形状中，他们跟踪了 Claude Opus 4.7、Gemini 3.1 Pro 和 GPT-5.4 选择递归的频率。 红心将 Claude Opus 4.7 和 GPT-5.4 从二叉树问题的 0% 递归解决方案提升到 100%。当某个形状确实引导 Gemini 3.1 Pro 时，71.5% 的思维痕迹认为该图像无关紧要。 如果您的智能体看到图像，请在使用或不使用图像的情况下测试其决策，并且不要依赖推理痕迹来标记视觉影响。