Rohan Paul

哈佛大学和麻省理工学院的新论文发现，推理模型对其思维链的控制能力较差，部分原因在于习惯以“好吧”开头。 安全团队会阅读模型的推理来捕捉不当行为，而显示模型无法引导该推理的基准测试令人放心。为什么模型在这方面失败尚不清楚。 作者告诉 Qwen3-32B 等模型以大写字母进行推理或对每个句子进行编号。 Qwen3-32B 和 OLMo-3.1-32B 将大约 99% 的第一个令牌概率放在“Okay”上，因此作者尝试禁止它或预填充 1 个合规令牌。 禁止“好的”和“好吧”并添加 1 个有效示例比单独使用指令将平均合规性提高了 34 至 41 个百分点。隐藏信息的任务（例如避免使用某个单词）的反应不太一致，并且看起来像是 12 个模型中的一项单独技能。 如果您因为可控性分数而信任思想链监控，请将开头词问题与一般控制分开并单独报告隐藏任务。