AgentArk：把多 agent 推理蒸馏进单模型权重

本页是 VLM 自我改进 演化轴第⑤阶段的理论表达最干净的一篇： AgentArk（Distilling Multi-Agent Intelligence into a Single LLM Agent）^[1]（2026）——把昂贵的 test-time 多 agent 协作 编译进单模型权重。

1. 问题与思路

多 agent 系统的

$\text{debate} \rightarrow \text{critique} \rightarrow \text{revision} \rightarrow \text{final answer}$

推理质量高但 inference 昂贵。AgentArk 用三个层次把它蒸馏：

• reasoning-enhanced SFT；
• trajectory-based augmentation；
• process-aware distillation；

$\underline{ \text{amortizing test-time intelligence into model weights} }$

还用 Qwen2.5-VL 做了 multimodal extension（项目页）^[2]。

2. 对本方向的价值

这句术语本身就是 RSI 固化阶段的定义：test-time 的昂贵智能 （多轮反思、多 agent 讨论、长 recovery 探索）本质上是一次性的， 应该被摊销成权重里的持久能力。

$\text{AgentArk} \; : \; \text{across agents} \qquad vs \qquad \underline{\text{RSI} \; : \; \text{past-self to now}}$

前者 distill 的是别的 agent 的智慧（agent 之间摊销）， 后者 distill 的是同一设备的 past-self（自己过去与现在之间摊销）。

参考文献

[1] LUO Y Y, JIN Y Q, YU W C, et al. AgentArk: distilling multi-agent intelligence into a single LLM agent[J/OL]. arXiv preprint arXiv:2602.03955, 2026. https://arxiv.org/abs/2602.03955

[2] AI FRONTIER LAB. AgentArk project page[EB/OL]. 2026. https://aifrontierlab.github.io/AgentArk/

© 2026 Yang Huan · yanghuan9812@qq.com