塔斯娱乐资讯网

【Zero-WAM 让机器人先看人类视频,再尝试陌生任务】 #ZeroWAM# 机器人遇到一个从没训练过的任务,先给它看一段人类操作视频,会发生什么? 蚂蚁灵波实验室的 Zero-WAM 把人类示范视频直接当作上下文提示。机器人不用先拿到这个目标任务的专门训练轨迹,而是观看人类怎样完成动作,再结合自己的摄像 ​

【Zero-WAM 让机器人先看人类视频,再尝试陌生任务】 ZeroWAM

机器人遇到一个从没训练过的任务,先给它看一段人类操作视频,会发生什么?

蚂蚁灵波实验室的 Zero-WAM 把人类示范视频直接当作上下文提示。机器人不用先拿到这个目标任务的专门训练轨迹,而是观看人类怎样完成动作,再结合自己的摄像头画面规划下一步。

项目在 RoboTwin 2.0 的 7 个未见任务上取得 46.95% 平均成功率,比对照模型 LingBot-VA 高 29.5 个百分点。配套的 HumanGen 数据集包含 7.42 万组人类视频与机器人轨迹,覆盖 8600 个任务;项目页也放出了多段真机演示。

如果让机器人只看一遍就学,你最想先教它做什么?

具身智能机器人学习