Rohan Paul

新的 Meta 论文表明，Meta 的员工可以信任人工智能助手关于产品测试的数据，因为人工智能只会规划步骤，而不会自己写入任何数字。 A/B 测试需要人们可以信任的数字，但大语言模型是不确定的，并且可能产生幻觉。实验仍然需要大量混乱的手动工作，例如调试设置和诊断奇怪的结果。 Meta 的 ABTest Agent 允许大语言模型选择和排序步骤，而经过验证的工具则计算其报告的每个数字。报告模板会阻止输出，除非每个表都追溯到该代码，并且知识库仅包含经过专家审查的文档。 普通结果获取占请求的 45%，而 97 项技能中有 52 项用于检查结果是否可信。在某些会话中，当实验者力求取得显著结果时，该智能体建议进行 p-hacking，例如去掉不利的日子。 如果您构建一个分析智能体，请让代码生成每一个数字，并在实验开始之前固定成功指标，这样智能体就无法帮助进行 p-hacking。