复旦团队提出 ICWM：少量随机探测让 VLA 模型跨视角泛化能力提升 13%

转载于 2026-07-01 09:24:32 发布 · 20 阅读

【导语：视觉 - 语言 - 动作（VLA）模型在部署时易因环境改变性能下降，以往方法费时费力。复旦大学邱锡鹏教授团队提出“上下文世界建模”（ICWM），显著提升了 VLA 模型在新环境中的适应能力。】

视觉 - 语言 - 动作（VLA）模型在部署时，相机视角、安装位置或机器人形态稍有变化，性能就可能下降。以往“上下文学习”靠人工演示任务执行，环境改变时需重新收集数据、调模型。而邱锡鹏教授团队提出的 ICWM，让机器人在任务执行前进行随机探测，将交互过程作为上下文输入模型，判断系统运作。

ICWM 的设计分为训练和推理阶段。训练阶段，研究团队在任务样本前拼接交互片段作为上下文输入，模型根据画面变化判断系统配置，且直接用 VLA 主干处理交互历史，简化结构并利于动作预测。推理阶段，机器人先主动探测，记录观测变化形成交互上下文，再结合上下文、画面和任务指令判断动作。

实验结果显示，ICWM 表现显著优于现有方法。在 LIBERO 仿真基准跨视角实验中，已见视角下平均高出 8.1%，新视角下平均高出 13.0%；在 UR5e 真实机器人平台上，稳定性也更强，标准 VLA 平均成功率从 68% 降至 17%，ICWM 表现相对稳定。

消融实验表明，ICWM 的性能提升来自交互上下文，而非简单模式匹配。去掉图像信息，平均成功率从 25.0% 降到 10.9%；去掉动作信息或不提供交互上下文，模型表现下降；提供错误上下文，表现更差。对照实验也说明，模型需专门训练才能利用交互上下文适应环境。

可视化结果显示，模型能区分不同视角和配置，且 ICWM 效果不依赖特定探测方式，对机器人形态变化和语义扰动场景有较强适应性，成功率提升约 15% 至 27%。

尽管 ICWM 提升了 VLA 模型适应能力，但仍存在不足。部分极端视角下，因遮挡和目标移出视野，性能提升有限，未来需结合多视角感知等能力；语义扰动实验中，因训练数据场景语义和组合配置不够丰富，提升也较有限，扩充训练数据有望继续提升表现。

编辑观点：ICWM 为 VLA 模型带来重要突破，提升了其在新环境的适应能力。虽有不足，但研究方向明确，未来发展值得期待，有望推动机器人在更多复杂场景的应用。