RoboTwin-IF:同场景换指令
Baseline vs PT 180k,均 SFT 20k。3场景 × 4指令 × 2模型 = 24条。去噪10、预测48、执行24、上限300。
视频按动作步对齐:1 action-step = 1帧,30 FPS,不是物理实时播放。合成视频中提前结束者停在最后一帧。
注意:“接触前首次明确接近”是几何代理,不是人工确认的意图。双臂可能同时接近不同物体,或先接近干扰物再成功抓取目标。下面同时提供原始代理与额外抬升干扰物的诊断,后者不改变官方成功判定。
预先固定的接近指标
| 模型 | 完成 | 首次正确接近/全部 | 不明确 | 首次接近正确后成功 | 最终成功 |
| Baseline | 12/12 | 3/12 | 1 | 3/3 | 6/12 |
| PT 180k | 12/12 | 8/12 | 1 | 8/8 | 10/12 |
接近规则:TCP距某物体中心XY<10cm、相对高度−2~18cm、与第二近物体的距离差>2.5cm,连续3个动作步;在首次受力夹爪接触之前判定。双臂同时指向不同目标不记为单一选择。
场景 1:同初态不同指令
同场景:上排抓鼠标,下排抓铃铛;左列Baseline,右列PT 180k。
场景 2:同初态不同指令
同场景:上排抓面包,下排抓咖啡盒;左列Baseline,右列PT 180k。
全部12组逐条对照
episode 000 · Pick up the mouse.
Baseline · 成功
各物体最大抬升(m):{'item0': 0.067, 'item1': 0.0, 'item2': 0.0, 'item3': 0.0};目标 item0
PT 180k · 成功
各物体最大抬升(m):{'item0': 0.067, 'item1': 0.0, 'item2': 0.0, 'item3': 0.0};目标 item0
episode 001 · Pick up the bell.
Baseline · 失败
各物体最大抬升(m):{'item0': 0.103, 'item1': 0.0, 'item2': 0.0, 'item3': 0.0};目标 item1
PT 180k · 失败
各物体最大抬升(m):{'item0': 0.083, 'item1': 0.001, 'item2': 0.0, 'item3': 0.0};目标 item1
episode 002 · Pick up the tea box.
Baseline · 成功
各物体最大抬升(m):{'item0': 0.068, 'item1': 0.0, 'item2': 0.067, 'item3': 0.0};目标 item2
PT 180k · 成功
各物体最大抬升(m):{'item0': 0.0, 'item1': 0.0, 'item2': 0.065, 'item3': 0.0};目标 item2
episode 003 · Pick up the phone.
Baseline · 失败
各物体最大抬升(m):{'item0': 0.154, 'item1': 0.0, 'item2': 0.0, 'item3': 0.0};目标 item3
PT 180k · 失败
各物体最大抬升(m):{'item0': 0.094, 'item1': 0.0, 'item2': 0.002, 'item3': 0.0};目标 item3
episode 004 · Pick up the bread.
Baseline · 成功
各物体最大抬升(m):{'item0': 0.065, 'item1': 0.05, 'item2': 0.0, 'item3': 0.0};目标 item0
PT 180k · 成功
各物体最大抬升(m):{'item0': 0.066, 'item1': 0.0, 'item2': 0.0, 'item3': 0.0};目标 item0
episode 005 · Pick up the stapler.
Baseline · 成功
各物体最大抬升(m):{'item0': 0.069, 'item1': 0.066, 'item2': 0.0, 'item3': 0.0};目标 item1
PT 180k · 成功
各物体最大抬升(m):{'item0': 0.0, 'item1': 0.067, 'item2': 0.0, 'item3': 0.0};目标 item1
episode 006 · Pick up the coffee box.
Baseline · 失败
各物体最大抬升(m):{'item0': 0.115, 'item1': 0.0, 'item2': 0.0, 'item3': 0.0};目标 item2
PT 180k · 成功
各物体最大抬升(m):{'item0': 0.0, 'item1': 0.002, 'item2': 0.067, 'item3': 0.0};目标 item2
episode 007 · Pick up the bottle.
Baseline · 失败
各物体最大抬升(m):{'item0': 0.0, 'item1': 0.0, 'item2': 0.0, 'item3': 0.091};目标 item3
PT 180k · 成功
各物体最大抬升(m):{'item0': 0.077, 'item1': 0.0, 'item2': 0.0, 'item3': 0.134};目标 item3
episode 008 · Pick up the toy car.
Baseline · 成功
各物体最大抬升(m):{'item0': 0.066, 'item1': 0.0, 'item2': 0.067, 'item3': 0.0};目标 item0
PT 180k · 成功
各物体最大抬升(m):{'item0': 0.066, 'item1': 0.0, 'item2': 0.0, 'item3': 0.0};目标 item0
episode 009 · Pick up the Rubik cube.
Baseline · 失败
各物体最大抬升(m):{'item0': 0.126, 'item1': 0.0, 'item2': 0.0, 'item3': 0.0};目标 item1
PT 180k · 成功
各物体最大抬升(m):{'item0': 0.0, 'item1': 0.067, 'item2': 0.0, 'item3': 0.0};目标 item1
episode 010 · Pick up the soap.
Baseline · 成功
各物体最大抬升(m):{'item0': 0.066, 'item1': 0.0, 'item2': 0.067, 'item3': 0.0};目标 item2
PT 180k · 成功
各物体最大抬升(m):{'item0': 0.0, 'item1': 0.0, 'item2': 0.068, 'item3': 0.0};目标 item2
episode 011 · Pick up the playing cards.
Baseline · 失败
各物体最大抬升(m):{'item0': 0.0, 'item1': 0.063, 'item2': 0.113, 'item3': 0.0};目标 item3
PT 180k · 成功
各物体最大抬升(m):{'item0': 0.061, 'item1': 0.0, 'item2': 0.0, 'item3': 0.066};目标 item3
原始统计与逐条诊断JSON