GUI-Libra：把开源 VLM 训练成原生 GUI Agent 的 81K 语料

本页是 RSI 数据集版图 中"人类示范与训练语料"一列的第四个节点： GUI-Libra ^[1]（UIUC + Microsoft + UNC，2026）——证明 screenshot → think → act 可以直接作为 VLM post-training 目标： 用 81K 步 reasoning 语料 + action-aware SFT + 部分可验证 RL， 把开源 VLM 变成原生 GUI agent。

1. 数据概况

训练目标的形式化：

$\text{instruction} + \text{interaction history} + \text{screenshot} \;\rightarrow\; \text{reasoning} + \text{executable action}$

2. 两个关键发现

1. 朴素加 CoT 反而伤 grounding：只堆 reasoning 数据， 模型会"想得对、点不对"。GUI-Libra 的对策是 Action-Aware SFT——reasoning 数据与直接动作数据混合， 并对 token 重新加权，让模型学"为什么点"的同时不忘记"点哪里"；
2. GUI 奖励只是部分可验证的：标准 RLVR 在离线到在线迁移时不稳定。 对策是 Conservative RL（KL 正则化的 GRPO + success-adaptive scaling），在模糊奖励下保持稳定。

3. 结果

在 AndroidWorld ^[2]、WebArena-Lite-v2、 Online-Mind2Web 上，GUI-Libra-4B/8B 追平或超过 GPT-4o / GPT-4.1 / GPT-5-mini 与 72B/32B 原生模型—— 且全程无在线数据采集。

4. 对 RSI 的定位

• 正面证明："截图轨迹 → VLM reasoning/action"是成熟路线， AITW / GUIOdyssey 类数据完全可以 变成 (image + history) → (reasoning + action) 的 SFT 语料；
• 但它滤掉了失败：81K 语料经过 action re-prediction 与坐标验证过滤， 留下的是"正确的 think→act"。RSI 需要的另一半—— 模型自己的失败经验 → 训练模型自己——仍是空位；
• 它的 Action-Aware SFT 对 RSI 的 consolidation 阶段也有直接借鉴意义： 把 recovery lesson 蒸馏进 LoRA 时，同样要防止 "学会了教训、忘了基础操作"。

参考文献

[1] YANG R, WU Q H, WANG Z Y, et al. GUI-Libra: training native GUI agents to reason and act with action-aware supervision and partially verifiable RL[J/OL]. arXiv preprint arXiv:2602.22190, 2026. https://arxiv.org/abs/2602.22190

[2] RAWLES C, CLINCKEMAILLIE S, CHANG Y, et al. AndroidWorld: a dynamic benchmarking environment for autonomous agents[J/OL]. arXiv preprint arXiv:2405.14573, 2024. https://arxiv.org/abs/2405.14573

© 2026 Yang Huan · yanghuan9812@qq.com