不是产品,也没有进课堂

微软研究院 10 月 12 日发表 StudentSim。帖子第一段就写明:它是一套研究系统,用来在真人测试之前评估和改进 AI 助教;不是产品,没有部署在课堂里,也不打算代替教师。

数据只用公开、供研究使用、已经去掉身份的学习记录。没有使用可识别个人的信息。每个模拟器只在它要代表的那个学生的记录上做专门化。

[1]
一枚炭黑色的棋子
一枚炭黑色的棋子,脚下一块灰蓝阴影。, AI 生成插画,不是新闻照片

要像这个学生,也要能跟着提示改

帖子把目标拆成两件。行为保真度:在留出的题目上,模拟器是否像这个学生的作答。对指导的响应:读了助教的提示之后,答案是否会改。

只像过去的作答,看不出提示有没有用。什么提示都照做,又会丢掉这个学生的水平、弱项和容易犯的错。评测叫 StudentSimEval,覆盖国际象棋、第二语言英语写作和数学。训练分两段:先在同一领域许多学生的记录上学共同的格式、常见错误和收到提示后的改法,再用这一个学生自己的记录做专门化。

[1]

正文写清对照数字的是国际象棋

帖子说三个领域都超过主要基线,并拿国际象棋做例子。StudentSim 的行为保真度是 0.5150,对指导的响应是 0.9067。GPT-5.4 是 0.2316 和 0.7186。国际象棋专用、用来预测人怎么走棋的 Maia2 是 0.4535 和 0.2721。

这个对照说明两件事。GPT-5.4 更能跟着提示改,但不稳定地像某一个学生。Maia2 更接近人的走法,但没有一条接受自然语言提示的路径。写作和数学的具体分数,这篇正文没有列出。

[1]

模拟反馈可以训助教,专家是盲评

帖子还做了一个国际象棋助教的强化学习实验。助教看到棋局和学生原先的错着,然后写提示。模拟器自己的参数固定,读完提示再走出修正的一步。奖励是这一步相对原先那步的棋力变化,用 Stockfish 当独立的棋力信号。

三种条件用同一套助教策略、同一个监督微调起点和同一套强化学习设置:没有强化学习、用 GPT-5.4 当模拟学生来给奖励、用 StudentSim 来给奖励。人类国际象棋专家在不知道条件的情况下给回答打分。

用 StudentSim 做奖励的助教,准确率是 90.5%。没有强化学习的基线是 75.7%。用 GPT-5.4 做奖励是 71.6%。帖子把它写成概念验证:从真实学习记录训练的模拟器,可以给助教训练提供有用的反馈。真人研究仍然要用来看学习结果、安全、可用性和课堂是否合适。

帖子署名包括 Ke Yang、Chenglong Wang、Michel Galley、Chandan Singh、Jeevana Priya Inala、伊利诺伊大学的 ChengXiang Zhai,以及 Jianfeng Gao。

[1]