R³V：VLM 通过反思自我改进推理

本页是 VLM 自我改进 演化轴第②③阶段的核心： R³V（Vision-Language Models Can Self-Improve Reasoning via Reflection）^[1]（NAACL 2025）——最应该先读的一篇： 它基本给出了"错误 reasoning 也是训练信号"的完整配方。

1. 闭环

$M_t \rightarrow \text{generate reasoning} \rightarrow \text{find positive/negative rationales} \rightarrow \text{reflect / correct} \rightarrow M_{t+1}$

具体机制：迭代 bootstrap 正确与错误的 solution， 让模型学习两类映射——

• bad rationale → refined rationale（反思修正）；
• 多个 reasoning candidate 中选择更好的那条（self-select loss）。

2. 结果与含义

相对 GPT-distilled baseline 提升 23%–60%—— 自己的反思数据比老师的数据更有效。

3. 差距：failure 的粒度太浅

R³V 的失败是"VQA answer wrong"级别的；本方向要研究的是更丰富的链：

$\text{视觉观察} \rightarrow \text{reasoning} \rightarrow \text{action} \rightarrow \text{environment failure} \rightarrow \text{recovery}$

它的反思发生在答案空间，不涉及执行轨迹与环境的因果反馈 （那要靠 数据版图 里的失败轨迹数据）。

参考文献

[1] CHENG K Z, LI Y T, XU F Z, et al. Vision-language models can self-improve reasoning via reflection[C]//Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics (NAACL). 2025. https://aclanthology.org/2025.naacl-long.447/

© 2026 Yang Huan · yanghuan9812@qq.com