Rohan Paul

看起来像是一次出色的机器人开源发布。 机器人技术的一个重大问题是：摄像头无法告诉机器人它挤得有多用力，或者抓握是否在打滑，但指尖传感器可以。 Robbyant 发布了 LingBot-Touch，这是一个开源模型（Apache 2.0），它把指尖传感器读数转换成控制软件可以使用的信号，从而让机器人获得触觉。 Robbyant 在同一批触觉数据上为 LingBot-Touch 训练了三个同样大小的编码器（各 546 万参数）。在 4,000 小时时，在潜在空间中预测被遮盖部分的 JEPA 版本，在触觉→视频检索上获得了 49.3% 的 top-5。MAE 一直低于 9%。VAE 为 3.1%，比它在 1,000 小时时还差。 我认为原因在于数据本身。一根手指只会按到几个点，所以每一帧的大部分都接近于零，而不为零的读数又是有噪声的。若要重绘这些数据，就意味着去复制谁也无法预测的零和噪声；而 JEPA 只预测表征，因此可以把这两者都略去。论文将稀疏性和低信噪比列为他们选择 JEPA 的原因。 稀疏性也塑造了训练方式。如果从第一步起就遮盖 80% 的 taxel（触觉像素），很多片段里就看不到剩余的接触，梯度也会爆炸，所以他们在前 300 步把遮盖率从 40% 逐步提高到 80%。目标来自四个深度的 EMA 编码器，遵循 V-JEPA 2.1。 为了分离多源数据的效果，他们把每个传感器自己的数据保持固定，只加入其他模态。在目标传感器数据不变的情况下，多源模型在八个传感器-任务对中的七个上有所提升，表明来自异构传感器的数据直接惠及每一个传感器。