K-Merge：LoRA 的在线持续合并

本页解决端侧持续学习的"长期积累"问题（见 端侧训练）： K-Merge ^[1]（ACL 2026）研究当新 LoRA ^[2] 不断到达、而设备只能存 $K$ 个 adapter 时，该选谁、怎么合，才能不忘掉旧任务。

1. 场景：LoRA 是增量送达的

端侧 LLM 常用多个 LoRA 支持不同下游任务。实际使用中，LoRA 不是一次性 给全，而是增量到达——用户不断提出新任务、新语言的支持需求：

Day 1 → LoRA 1（邮件写作）
Day 2 → LoRA 2（小语种翻译）
...
Day 365 → 365 个 LoRA？

设备的存储装不下所有 adapter，于是出现一个新问题： on-device online continual merging——合并新 LoRA 的同时， 尽量保住旧任务的性能。

2. 方法：data-free 的选择与合并

K-Merge 提出在新 LoRA 到达时的选择 + 合并策略：

• data-free：设备上没有旧任务的训练数据可用（个性化数据本来就 留在设备外/不可复用），策略不能依赖数据回放；
• 计算高效：满足端侧的算力与时延预算；
• 在"只存 $K$ 个 adapter"的存储预算内，决定淘汰谁、保留谁、 以什么权重合并。

在真实任务组合上，该方法优于各种朴素策略（如全部合并、FIFO 淘汰、 随机保留），同时始终满足存储与计算约束。

3. 为什么这件事关键

端侧终身学习（lifelong on-device learning）的最终形态不是一次微调， 而是长期管理一个 adapter 序列：

$\Delta_1 \rightarrow \Delta_2 \rightarrow \Delta_3 \rightarrow \cdots$

每一步都要对抗灾难性遗忘。K-Merge 处理的是这条链的"合并/淘汰"环节； 训练信号与硬件侧分别见 Online-SDFT 与 MeSP / MobiZO。项目页： donaldssh.github.io/K-Merge。

参考文献

[1] SHENAJ D, BOHDAL O, CERITLI T, et al. K-Merge: online continual merging of adapters for on-device large language models[C]//Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (ACL). 2026. https://aclanthology.org/2026.acl-long.137/

[2] HU E J, SHEN Y, WALLIS P, et al. LoRA: low-rank adaptation of large language models[C]//International Conference on Learning Representations (ICLR). 2022. https://arxiv.org/abs/2106.09685

© 2026 Yang Huan · yanghuan9812@qq.com