Rohan Paul

JetBrains Research 新论文主张：编程智能体基准应贴近真实用户的工作方式，因为真实会话会在多轮消息里混合并切换任务类型。 真实开发者用编程智能体时会提问、规划、审查，并在会话中途切换任务；而像 SWE-Bench Pro 这类基准往往只给智能体一个详细 issue，再给最终补丁打一次分。在该基准中，新功能与修 bug 占任务的 93.8%。 JetBrains 研究者分析了 4,782 次真实智能体会话，其中功能开发与修 bug 远不到请求的一半。更长的会话里，用户持续在提问、规划、审查与编辑之间切换。 他们构建了 SWE-TaskFlow：把每个基准 issue 拆成多轮，并加入可核验的代码相关问题。在 700 个 SWE-Bench Pro 任务上，拆分大约让智能体成本翻倍，成功率却没有稳定变化。 若要评测编程智能体，先衡量自己用户实际在问什么，再让基准的对话形态与之对齐。 – arxiv.org/abs/2610.09633 标题："Coding-Agent Benchmarks Should Match Their Users' Task Flows"（编程智能体基准应匹配用户任务流）