塔斯娱乐资讯网

具身的榜刷的这么快吗?

RoboDojo 7 月上线时,仿真榜第一的成功率只有 8.80%。三个月后,榜首到了 68.87%,离人类专家的 76.03% 只差一步。

10 月 27 日智元 GO-3 Nano Preview 刚登顶,3 天后 Q0-Preview 就领先了约 12 .5个百分点。

一张卷子被越来越多人考出高分,还有没有价值?正好刷到 RoboDojo 团队陈天行发帖收集意见,说说阿东的看法。

1️⃣ 仿真榜有价值,但要看清分数在说什么

12 分的领先说明范式在变,Q0-Preview 走的是 Agent 赛道。分项也比总分更有用:VPP2 总分登顶时,开放语义成功率只有 4.08%。涨得快也有风险。陈天行提到,他们会用闭集复测,有团队因此掉分被拒;所有方案必须开源可复现;难以审核的 Open 维度计划不再计分。

2️⃣ 不同路线,比的不是同一件事
VLA 动作稳、语义弱;WAM 先预测画面再出动作;Agent 语义强,但 GPT-6 Astra 直接控制时,精细操作成功率只有 4%;混合路线让 Astra 只纠正 14.4% 的步骤,10 个任务的成功率就到了 48%。Agent 交互迭代慢、算力贵,现在已经单独分榜。阿东觉得,分数旁边还应该报评测耗时和成本。

3️⃣ 真机榜做成什么样才有价值?
1. 统一硬件,双盲打分
2. 任务不提前公开,定期换题
3. 报稳定性和失败恢复,不只报成功率
4. 加安全指标,Astra 的真机测试就因动作危险中止过
5. 记录耗时和人工干预次数

4️⃣ 仿真到真机,到底难在哪?

阿东觉得难点主要在五个地方:
1. 接触物理:摩擦、碰撞、形变,仿真只能近似。插入、对齐这类精细动作最先崩。
2. 感知噪声:真实相机有反光、遮挡和运动模糊。仿真里光是打乱场景,Hy-Embodied 的分数就从 21.98 掉到 1.57,到了真实世界只会更脆。
3. 执行误差会累积:电机误差和延迟一开始很小,长程任务里越积越大,最后整条轨迹都偏了。
4. 本体差异:同一个策略换一台机械臂,表现可能差很多。RoboDojo 的三种本体里,Piper X 几乎是所有模型最难的,不少模型直接 0%。

所以仿真更像能力诊断,真机才是部署考试,不能拿仿真分直接推真机表现。论文也说明,真机任务和仿真并不一一对应。

阿东的建议是:真机榜可以设一组和仿真一一对应的“孪生任务”,直接量出迁移掉了多少分。
榜被刷得快,说明领域在动,规则也得跟着动。仿真分越高,越要看它在真机上还剩多少。你觉得真机榜最该加哪一条?

#具身智能 #RoboDojo #机器人 #VLA #Agent#Sim2Real #科研