ViFailback：真实机器人操作失败的诊断与纠正
本页是 RSI 数据集版图 中"机器人操作失败"一列的首选： ViFailback [1]（CVPR 2026）——真实世界机器人操作失败的 大规模数据集，5,202 条真实轨迹中失败占 87%，并配 5.8 万条 诊断/纠正 VQA 对。若研究偏机器人，第一阶段用它替换 CUADebug 非常顺。
1. 数据概况
| 维度 | 内容 |
|---|---|
| 轨迹 | 5,202 条真实世界操作轨迹：4,545 条失败 + 657 条成功 |
| VQA | 58,128 个失败诊断 / 纠正 VQA pairs |
| 标注 | 显式 visual symbols（视觉符号）提升标注效率，同时作为纠正指引 |
| 失败类型 | 覆盖任务规划、gripper 6D 位姿、gripper 状态、人为干预等 |
| 基准 | ViFailback-Bench：11 个细粒度 VQA 任务（Lite 封闭式 / Hard 开放式） |
| 获取 | sii-rhos-ai/ViFailback-Dataset [2]（MIT） |
2. 方法：诊断 → 纠正 → 辅助恢复
论文的完整链条：
- 用视觉符号标注失败位置与纠正目标，训练 ViFailback-8B VLM；
- ViFailback-8B 在 ViFailback-Bench 上显著提升， 且能生成视觉符号形式的纠正动作指引；
- 把 ViFailback-8B 与 VLA 模型串联，真实机器人实验证明 它能辅助 VLA 从失败中恢复。
3. 对 RSI 的定位：已走通九成，差最后一步
它已经实现了"视觉轨迹 → 检测失败 → 诊断原因 → 提出纠正"—— 但纠正以外部 supervisor + 视觉符号指引的形式在当前 episode 内生效， 没有把 recovery 经验固化进 VLA 参数，下次遇到同类失败仍要 再走一遍外挂诊断。把这最后一步补上（对照 端侧训练专题 的经验固化机制）， 正是 RSI 在机器人侧的增量空间。
ViFailback： failure → 诊断 → 当次 recovery（参数不变）
RSI 目标： failure → 诊断 → recovery → 固化 → 下次不再这样失败
参考文献
[1] ZENG X C, ZHOU X Y, LI Y C, et al. Diagnose, correct, and learn from manipulation failures via visual symbols[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2026: 42386-42395. https://arxiv.org/abs/2512.02787
[2] SII-RHOS-AI. ViFailback-Dataset[EB/OL]. Hugging Face Datasets, 2026. https://huggingface.co/datasets/sii-rhos-ai/ViFailback-Dataset
© 2026 Yang Huan · yanghuan9812@qq.com