Yann LeCun

@andrzejdragan @francoisfleuret 这绝对不是自回归的 token 预测——因为可以评估多个假设的 token/动作序列，而无需把它们产生到输出上。 这就是我所说的 SEARCH（搜索）。 尽管还有比离散 token 序列的生成-选择更高效的搜索方式。 有些 LLM 会在静默中自回归地产生多个输出，再评估并选出最好的一个，从而进行搜索。 整个过程并不是自回归的 token 预测。