Rohan Paul

这里有奇怪的发现。 约翰·霍普金斯大学的新论文发现，当更多的训练事实仅出现一次时，法学硕士会做出更多的科学发现。 对于 2 个模型家庭，随着训练中曾经见过的事实的比例从 0% 上升到 100%，发现率稳步上升。 发现和幻觉都意味着产生模型在训练中从未见过的东西。早期的理论将幻觉与“单一事实”联系在一起，即只看到一次的事实，并将那些看不见的空间视为大多是错误的。 作者扩展了该理论，表明单事实也决定了模型可以发现多少。他们对材料和 DNA 数据集上的 gpt-oss-20b 和 gemma-3-12b-it 进行了微调，将单事实份额从 0% 更改为 100%。 Discovery 得分为准确恢复训练中的材料或 DNA 序列，在每种情况下都随着单事实份额的稳步上升。经过 3 到 5 个周期的训练，将单次观测变成重复观测，从而使这种趋势消失。 在构建科学模型时，保留罕见的一次性例子并避免重复数据，并期望更多的发现会带来更多的幻觉。