Yann LeCun

@heyshrutimishra 大语言模型会积累大量陈述性知识。 这就是它们能回答大量问题的原因。 这也是它们需要如此多参数、因而需要如此多内存的原因。 但可以用*理解*来替代知识的积累。 这正是 JEPA 世界模型所做的。 这也是它们能以远少于大语言模型的内存和训练数据发挥作用的原因之一。 这篇论文只是表明：数据的底层相似性结构——无论是文本还是图像（例如文本中的词共现或图像中的物体共现）——在编码器以 SIGReg 或 VCReg 这类常见的抗坍缩准则训练时（而非通过重建），会唯一地决定表示点云的形状。