RoboTwin-IF:同场景换指令

Baseline vs PT 180k,均 SFT 20k。3场景 × 4指令 × 2模型 = 24条。去噪10、预测48、执行24、上限300。

视频按动作步对齐:1 action-step = 1帧,30 FPS,不是物理实时播放。合成视频中提前结束者停在最后一帧。

注意:“接触前首次明确接近”是几何代理,不是人工确认的意图。双臂可能同时接近不同物体,或先接近干扰物再成功抓取目标。下面同时提供原始代理与额外抬升干扰物的诊断,后者不改变官方成功判定。

预先固定的接近指标

模型完成首次正确接近/全部不明确首次接近正确后成功最终成功
Baseline12/123/1213/36/12
PT 180k12/128/1218/810/12

接近规则:TCP距某物体中心XY<10cm、相对高度−2~18cm、与第二近物体的距离差>2.5cm,连续3个动作步;在首次受力夹爪接触之前判定。双臂同时指向不同目标不记为单一选择。

场景 1:同初态不同指令

同场景:上排抓鼠标,下排抓铃铛;左列Baseline,右列PT 180k。

场景 2:同初态不同指令

同场景:上排抓面包,下排抓咖啡盒;左列Baseline,右列PT 180k。

全部12组逐条对照

episode 000 · Pick up the mouse.

Baseline · 成功

各物体最大抬升(m):{'item0': 0.067, 'item1': 0.0, 'item2': 0.0, 'item3': 0.0};目标 item0

PT 180k · 成功

各物体最大抬升(m):{'item0': 0.067, 'item1': 0.0, 'item2': 0.0, 'item3': 0.0};目标 item0

episode 001 · Pick up the bell.

Baseline · 失败

各物体最大抬升(m):{'item0': 0.103, 'item1': 0.0, 'item2': 0.0, 'item3': 0.0};目标 item1

PT 180k · 失败

各物体最大抬升(m):{'item0': 0.083, 'item1': 0.001, 'item2': 0.0, 'item3': 0.0};目标 item1

episode 002 · Pick up the tea box.

Baseline · 成功

各物体最大抬升(m):{'item0': 0.068, 'item1': 0.0, 'item2': 0.067, 'item3': 0.0};目标 item2

PT 180k · 成功

各物体最大抬升(m):{'item0': 0.0, 'item1': 0.0, 'item2': 0.065, 'item3': 0.0};目标 item2

episode 003 · Pick up the phone.

Baseline · 失败

各物体最大抬升(m):{'item0': 0.154, 'item1': 0.0, 'item2': 0.0, 'item3': 0.0};目标 item3

PT 180k · 失败

各物体最大抬升(m):{'item0': 0.094, 'item1': 0.0, 'item2': 0.002, 'item3': 0.0};目标 item3

episode 004 · Pick up the bread.

Baseline · 成功

各物体最大抬升(m):{'item0': 0.065, 'item1': 0.05, 'item2': 0.0, 'item3': 0.0};目标 item0

PT 180k · 成功

各物体最大抬升(m):{'item0': 0.066, 'item1': 0.0, 'item2': 0.0, 'item3': 0.0};目标 item0

episode 005 · Pick up the stapler.

Baseline · 成功

各物体最大抬升(m):{'item0': 0.069, 'item1': 0.066, 'item2': 0.0, 'item3': 0.0};目标 item1

PT 180k · 成功

各物体最大抬升(m):{'item0': 0.0, 'item1': 0.067, 'item2': 0.0, 'item3': 0.0};目标 item1

episode 006 · Pick up the coffee box.

Baseline · 失败

各物体最大抬升(m):{'item0': 0.115, 'item1': 0.0, 'item2': 0.0, 'item3': 0.0};目标 item2

PT 180k · 成功

各物体最大抬升(m):{'item0': 0.0, 'item1': 0.002, 'item2': 0.067, 'item3': 0.0};目标 item2

episode 007 · Pick up the bottle.

Baseline · 失败

各物体最大抬升(m):{'item0': 0.0, 'item1': 0.0, 'item2': 0.0, 'item3': 0.091};目标 item3

PT 180k · 成功

各物体最大抬升(m):{'item0': 0.077, 'item1': 0.0, 'item2': 0.0, 'item3': 0.134};目标 item3

episode 008 · Pick up the toy car.

Baseline · 成功

各物体最大抬升(m):{'item0': 0.066, 'item1': 0.0, 'item2': 0.067, 'item3': 0.0};目标 item0

PT 180k · 成功

各物体最大抬升(m):{'item0': 0.066, 'item1': 0.0, 'item2': 0.0, 'item3': 0.0};目标 item0

episode 009 · Pick up the Rubik cube.

Baseline · 失败

各物体最大抬升(m):{'item0': 0.126, 'item1': 0.0, 'item2': 0.0, 'item3': 0.0};目标 item1

PT 180k · 成功

各物体最大抬升(m):{'item0': 0.0, 'item1': 0.067, 'item2': 0.0, 'item3': 0.0};目标 item1

episode 010 · Pick up the soap.

Baseline · 成功

各物体最大抬升(m):{'item0': 0.066, 'item1': 0.0, 'item2': 0.067, 'item3': 0.0};目标 item2

PT 180k · 成功

各物体最大抬升(m):{'item0': 0.0, 'item1': 0.0, 'item2': 0.068, 'item3': 0.0};目标 item2

episode 011 · Pick up the playing cards.

Baseline · 失败

各物体最大抬升(m):{'item0': 0.0, 'item1': 0.063, 'item2': 0.113, 'item3': 0.0};目标 item3

PT 180k · 成功

各物体最大抬升(m):{'item0': 0.061, 'item1': 0.0, 'item2': 0.0, 'item3': 0.066};目标 item3

原始统计与逐条诊断JSON