Rohan Paul

新的 Nvidia + 其他实验室论文表明，不相关的文本主要通过削弱模型对问题的使用来造成伤害，而不是直接反对正确答案。 RAG、工具使用和长上下文应用程序中的提示通常带有与问题无关的文本。即使像“计算机很有用”这样的台词也会降低模型对正确答案的支持度。 他们在开放模型中追踪这一点，并发现了入侵头，一小部分注意力头会读取不相关的文本并削弱答案。掩盖这些头脑对上下文的注意力，不会影响那些使用有用证据的头脑。 在 7B 规模模型上的 4 项任务中，遮盖约 10 个头部平均可以恢复 57% 的因干扰因素而损失的准确率。需要匹配的干净运行的 Oracle 修复恢复了 97.6%。 如果您提供带有噪声检索上下文的开放权重模型，则在一些特定于模型的头上使用免训练掩模可以挽回大部分损失的准确性。