Yann LeCun

几点评论： 1. 图像/视频自监督学习（SSL）方法的差别在于是否使用重建。联合嵌入架构可能有也可能没有预测器（JEA vs JEPA）。它们在防塌缩方法以及数据损坏/增强方法上也不同。 2. DINO *就是* 一种 JEPA（严格说是 JEA）。与其他 JEPA 模型的差别在于防塌缩准则（基于对比聚类 + stopgradient/EMA），以及数据增强方案（图像变换，这是任务相关的）， 3. V-JEPA 2.1 和 DINO 一样，来自 Meta-FAIR（公司实验室），有大量工程团队参与、用了大规模/专有数据集、可观的算力、大量微调，并在许多基准上刷分。 4. 许多 JEPA 论文是 DINO、V-JEPA 或 I-JEPA 的应用和/或微调版本。 5. LeJEPA、LeWM，以及标题里带 "JEPA" 的大多数其他论文，是聚焦方法论的*研究*论文，往往由学术实验室的学生完成，没有工程支持、算力很少，训练数据也是小规模/公开集。它们一般在玩具问题、仿真环境或小型/公开基准上测试。 6. 你根本不能拿 5 去和 2/3/4 比。5 给你的是想法和新方法，不是模型。2/3 给你的是工程扎实的模型，带有大量经验验证过的技巧。只有很少时候 2/3 会给出仍有发挥空间的、原则清晰的新方法。5 也会给出新应用上的实证结果。 7. 发表在 5 里的那些方法，最终会变成像 2 和 3 那样的东西——只要有人有资源把它拿去扩展规模。 不要把上游的方法基础研究，和下游的扩展规模 → 工程化 → 刷分 → 模型 → 产品混为一谈。 前者使后者成为可能，但这需要时间。