CoWorld Reasoner:基于智能体的多模态推理与演进式视频世界模型驱动框架
TLDR
CoWorld Reasoner以视频世界模型为视觉推理引擎,通过工具与技能协同进化,提升多模态推理能力。
评分理由
The paper presents a strong empirical evaluation across seven benchmarks and an original co-evolution method that updates tools and skills without changing model weights. However, the abstract gives little detail on limitations, implementation costs, or potential instability in the co-evolution process.
Read-first 评分解释
综合优先阅读分 40.1,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 44。
研究版图角色
前沿论文方法锚点
排序敏感性
稳定性:volatile;排名波动范围:471。
关键词评分
深度分析
创新点
- Agentic框架,使用视频世界模型作为统一视觉推理引擎,实现灵活视觉想象。
- Video World Model-Driven Harness通过工具暴露多种视觉操作,并利用技能引导VLM决定是否想象、选择操作、构建生成请求和解读视觉证据。
- VLM-VWM Harness Co-Evolution:在保持模型权重固定不变的情况下,基于执行反馈联合修订工具、技能和执行代码。
- 支持超越固定流水线(如新视角合成)的灵活视觉想象。
方法
CoWorld Reasoner通过工具和技能构成的harness将VLM与Video World Model耦合:VLM决定是否想象、选择视觉操作、构建生成请求并解读生成的视觉证据。在VLM和VWM权重固定的情况下,基于执行反馈联合修订工具、技能和执行代码。评估使用七个基准,涵盖空间智能、时间与因果推理、感知推理,基线包括直接VLM推理和使用相同backbone的五个演化基线。
关键结果
CoWorld Reasoner优于使用相同VLM的直接推理;最强变体在全部七个基准上均有提升,MMSI相对准确率提升11.8%,ERQA提升13.0%,并在五个基准上优于使用相同backbone的所有五个演化基线。