Rohan Paul

新的苹果论文发现，随着训练数据的增长，工具使用代理从不同的应用程序和数据库状态中获得的收益比从更多任务中获得的收益更多。 合成训练数据的组合，而不仅仅是其大小，决定了工具使用代理推广到新基准的程度。 团队在合成环境中训练工具使用代理，大多数管道专注于生成更多任务。目前尚不清楚新工具、新任务或新起始数据是否最重要。 他们构建了 SynthAPI，它具有包含真实 Python 工具和数据库的 LLM 代码合成应用程序，然后编写具有自动成功检查功能的任务。他们在 849 个经过训练的模型中改变了应用程序、任务和数据库版本。 在固定的 32,768 任务预算下，更多的应用程序和数据库版本将 AppWorld 的 4B 模型挑战比例从 38.4% 提升到 45.0%。他们跟踪数据混合的缩放法则预测了更大的保留运行，误差为 0.0285，而仅任务计数法则的误差为 0.1706。