Astra 直接调度人形技能库

斯坦福大学和加州理工学院的项目页介绍了 HomeBody。常见的人形机器人分三层：视觉语言模型看画面并理解指令，中间学一个动作模型，底层控制器做协调的动作。作者问，Astra 这类前沿模型变强以后，中间那层还是否必要。HomeBody 的做法是换掉这条链，让可插拔的视觉语言模型直接调用一组可组合的技能。

项目页写，在一间事先没有见过的厨房里，由 GPT Astra 引导的宇树 G1 可以跨房间收拾，也可以根据没有指明地点的请求，取回一个它记得的物体。页面写明，这不使用针对该环境的训练数据，也不另学一套策略。The Decoder 9 月 27 日转述了同一系统。

机器人先探索房间。HomeBody 用它自己采集的影像、激光雷达和 Astra 选定的路径点，在英伟达 Isaac Sim 里建成数字孪生，把离开视野之后的物体位置留下来。页面给出两段任务。一段是把咖啡袋收到中间，丢掉指定的过期牛奶和橙汁盒。另一段里，药一开始不在视野中，系统根据存下的画面找到抽屉，取出药，再丢掉纸盒；开抽屉用右手，扔纸盒用左手。

视觉语言模型从当前画面、地图、夹爪状态、回忆和上一步结果里选技能和目标，用一次结构化的工具调用交出去，技能自己规划动作。抓取如果没有碰到物体，可以换一个抓取候选或调整站位再试，局部重试有上限。超过上限，或失败需要换一种动作，技能把原因交回模型，由它改位置、改目标或改计划。

项目页把限制写在一起。Real2Sim 重建增加准备时间和接口费用。任务能做多长，受臂展、操作能力和硬件续航限制，包括长时间操作时手指舵机过热。GPT Astra 的推理延迟会在技能之间造成停顿。当前这套本地计算需要一台 RTX 4090 笔记本电脑 GPU。页面没有给出成功率，也没有给出试验次数。

The Decoder 写代码在 GitHub。仓库首页写的是代码即将放出。两处不一致，本篇不把代码写成已经可以取用。页面上的机器人姿态，项目页自己注明是示意。