Hugging Face LeRobot v0.7.0:从 TB 级数据到提示机器人头图
LeRobot v0.7.0 加入语言在环控制、无盘流式训练与远程策略服务。, Hugging Face

要点

  • Hub 上近 300 TB LeRobot 格式物理 AI 数据;可直接从 Hub、对象存储或 LanceDB 训练,不必先整包下载。
  • 交互式 rollout:机器人运行中可 /subtask、/vqa、/autosteer;需会生成文本的策略或外部 VLM 规划器。
  • 流式读取:每 epoch 每帧恰好一次;4 个 DataLoader worker 约 2.1-2.5x samples/s;GPU 图像增强让 ACT 在 H100 约 2.8x。
  • 新一批世界动作模型与 VLA 入库;G0.5 使用非商业 Community License,不是 Apache-2.0。
  • 远程:lerobot-policy-server 经 Zenoh 缓冲未执行动作以隐藏推理延迟;async_inference 已移除。

Hugging Face 的 LeRobot v0.7.0 博文标题是「From Terabytes to Prompting Robots」。功能清单很长。结构变化更窄。开源物理 AI 的门槛,已不再主要是模型动物园里有多少权重,而是你能不能流式读上百 TB、对正在跑的策略说话、藏住推理延迟,同时把参差不齐的许可证说清楚。 「先下载再训练」的演示仍有用。它已不是栈的中心。

[1]

实际发布了什么

语言进入控制环。--interactive=true 时,rollout 保持机器人连接、权重与处理器常驻,操作员可发 /subtask、/vqa、/autosteer。FineART-VLA、Wall-OSS-0.5 等会生成文本的策略可直接应答;否则可用任意 OpenAI 兼容 VLM 做外部规划。FineART 提供 4 万+ 双臂回合(1,718 小时)、53.3 万+ 子任务标注(1.9 TB),其 VLA 先用语言预测下一子任务,再由流匹配专家执行。标注配方把 lerobot-annotate 标签收成训练与推理共用的对话式目标。

数据不必整包落地。--dataset.streaming=true 从 Hub 或对象存储按需拉视频字节范围,每 epoch 每帧恰好一次,并可确定性恢复;4 个 DataLoader worker 约 2.1-2.5× samples/s。LanceDB 表保留原始 MP4 blob,并宣称本地盘速级全局打乱。GPU 侧图像变换让 ACT 在 H100 约快 2.8×、A100 约 3.3×。

训练栈为 5-20B 级世界动作模型重做:FSDP2 与 HSDP、梯度累积、Torch Distributed Checkpoints。8×H200 上 6B FastWAM 的 DCP 存盘约快 3×,恢复峰值从每 GPU 143 GB 降到 42 GB。FP16 损失缩放、EMA、warmup-stable-decay 与 Trackio(Hugging Face 实验追踪)成为一等公民;文中把 Trackio 定位为替代 Weights & Biases 的路径。

模型动物园在长大,但对主张是次要的。世界动作新增包括 NVIDIA Cosmos 3(Nano 16.5B/Edge 4.6B;文中 LIBERO 平均约 97.9%)、Black Forest Labs FLUX 3 Action、RLinf LaWAM(微调 LIBERO 98.5%)、NVIDIA Long-WAM(IDM/COD 模式约 99%)。新 VLA 包括 OpenGalaxea G0.5、Robbyant LingBot-VLA 2.0(RTX PRO 6000 上 CUDA Graphs/torch.compile 把动作块约 756 ms 打到约 120 ms)、Dexmal DM0.5、X Square Robot Wall-OSS-0.5。G0.5 权重使用非商业 Community License,不是 Apache-2.0;博文明确标出。

lerobot-policy-server 远程推理让相机与电机留在现场,实验室 GPU 经 Zenoh(含 TLS/ACL 配置)回传动作块。客户端缓冲剩余动作、丢弃过期步,并可用 real-time chunking。旧 async_inference 已移除。仿真收束到统一 vector-env 核心(RoboLab:120 个 DROID Franka 桌面任务)。评测输出 Wilson 95% 区间。硬件新增 YAM、reBot B601,以及 Unitree G1 的 SONIC 全身解码(64 维运动 token → 50 Hz 关节),并支持远程拆分。

[1]

台面上的证据

规模与功能声明来自 Hugging Face 发布博文:Hub 近 300 TB、FineART 体量、流式与 GPU 增强加速、DCP 时间/显存差额、具名模型的 LIBERO/RoboTwin 数字、LingBot 延迟、G0.5 许可证说明。多项基准百分比是同文转述上游结果,此处未独立审计。

[1]

钢人与缺口

钢人。 机器人学习长期卡在磁盘、标注稀缺,以及机械臂旁只有笔记本级 GPU。流式、带语言标注的数据、交互控制与远程服务,正打在这些约束上。在 G0.5 旁写明许可证,比一句「全部开源」更诚实。

缺口:Hub 的 TB 数不是按质量加权的语料;大量条目来自仿真或手持采集。交互与远程路径需要网络与安全运维,博文只勾了轮廓。接近 100% 的 LIBERO 数字局限于该套件。非商业 VLA 许可证可能拆碎其余发布所假设的公地。深嵌 W&B 的团队迁移 Trackio 有成本。

[1]

谁该在意,下一步看什么

实验室应先为标注与流式 I/O 做预算,再开下一轮基座 VLA 微调。机器人创业公司应按远程策略服务与延迟隐藏缓冲来设计,而不是只堆车载 GPU。平台法务与采购需要对每个权重做许可证矩阵(G0.5 对 Apache 同伴)。

未来六个月看:FineART 式子任务密度是否扩散;Lance/流式是否成为公开配方默认;非商业 VLA 是边缘还是新常态;远程推理是否带着公开延迟预算进入现场部署。

[1]

收束

v0.7.0 很容易被概括成「更多模型加 300 TB」。耐看的主张是:开源机器人的硬约束,正移向语言标注、无盘训练 I/O、延迟隐藏,以及参差的模型许可证。 六个月后,要么公开配方默认假定流式 + 交互 + 远程,要么 Hub 仍是一座沉重的权重仓,训练方式却还像 2024 年的演示。

[1]