Rohan Paul

这篇论文发现：小型决策模型在给出答案前，把同一组层反复再跑若干次，准确率会高得多。 许多 LLM 调用其实只需做一个选择，比如是不是垃圾邮件。类型化决策模型用单次前向回答，当决策需要多个依赖步骤时就会失败。 SanSi 对 Ouro-1.4B（预训练为复用自身层的模型）做循环，并在 8 次循环的每一次后读取选项概率。每一次循环都被训练成能作答，因此同一模型可在 1 到 8 次循环的任意点停下。 在 10027 个测试决策上，SanSi 得分 72.0%，同结构无循环模型为 58.4%，算力为 7.7 倍。在训练中未见过那么长的说谎链上，它达到 72.6%，而 4.2B 单次前向模型为 50.0%（随机水平）。 若内存限制了你的决策类调用，在换大三倍的模型之前，可以先试循环的小模型。