同一个模型给自己的团队当老师
Sakana AI 公布了论文《Recursive Self-Improvement through Multi-Agent Self-Supervision》。方法名叫 Multi-Agent Self-Supervision，简称 MASS。公告同时给出了论文和代码。
他们问的是，一个模型能不能从自己这支队伍的集体判断里学习。一个共享模型通过一组虚拟子智能体完成任务，搜索更好的多智能体流程，再用自己的判断选出最好的流程。拿最好那支队伍的执行过程去训练，队伍的经验就被蒸馏回这个共享模型。
[1]
两轮之后，按 token 计算的分数上去了
实验用一个 270 亿参数的开放权重模型，任务是合成的开放式研究题，一共跑了两轮。第二轮之后，在四个研究基准上，每个输出 token 的分数达到基线模型的 1.2 倍到 1.6 倍。
公告没有写出这四个基准的名字。这个倍数是分数除以输出 token，不是说模型在一切研究任务上都强了这么多。
[1]公告列出的三条结果
第一，只拿被优化的模型做任务时产生的数据来训练，优化者和评估者的能力也会一起提高。公告把这叫做角色泛化。第二，对这种递归式自我改进来说，多智能体轨迹比单智能体轨迹更适合当训练数据。第三，改进速度的瓶颈可能在优化者的能力，而不在评估者。
[1]模型给自己打分时，盲点会留下来
Sakana 写道，这种同质的递归式自我改进需要仔细研究，这关系到安全。模型同时又是自己的评估者时，共同的盲点可能让错误被当成进步，再经过训练被加强。他们说，若要让系统在人类专长之外还改得安全，就得弄清这些失败，并留住发现问题和介入的办法。
公告没有说这两轮实验里已经出现了这种盲点。这是他们标出的风险，不是这次分数本身。
作者是 Hyunin Lee、Jinglue Xu、Jeffrey Seely、Yujin Tang，以及加州大学伯克利分校的 Somayeh Sojoudi、Matei Zaharia、Donghyun Lee。
[1]