分而治之：多模态世界模型的解耦表示对齐

arXiv 2026 36.4 method

TLDR

提出M^2-REPA，一种多模态视频生成的表示对齐方法，解耦并对齐模态特定特征与专家基础模型。

评分理由

The paper introduces a novel decoupling and alignment approach leveraging multiple foundation models as experts, which is a strength. However, it focuses solely on video generation without addressing interactive or reinforcement learning aspects, limiting its scope.

Read-first 评分解释

综合优先阅读分 36.4，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 35。

近期性 5%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

方法质量 15%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基线、实验

主题相关性 25%

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

引用影响力 15%

30.2

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。归一化引用分位：0.30237779

可复现性 15%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

图谱声望 15%

5.7

基于可用 OpenAlex 引用关系构建局部引用图，并计算 PageRank 风格的图谱声望。局部 PageRank：0.0016

引用速度 10%

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.00

研究版图角色

前沿论文桥接论文

排序敏感性

稳定性：volatile；排名波动范围：189。

关键词评分

world model

video world model

generative world model

world dynamics prediction

world simulator

interactive world model

model-based reinforcement learning world model

深度分析

创新点

首个专为多模态视频生成设计的表示对齐方法（M^2-REPA）
从扩散模型的中间表示中解耦模态特定特征，并将其与对应的专家基础模型对齐
两个协同目标：用于特征-专家匹配的多模态表示对齐损失，以及促进互补性的模态特定解耦正则化

方法

该方法从扩散模型的中间表示中解耦模态特定特征，并将每个特征与对应的专家基础模型（如RGB、深度、掩码）对齐。它使用两个损失函数：用于特征-专家匹配的多模态表示对齐损失，以及鼓励模态间互补性的模态特定解耦正则化。模型进行联合训练以利用多个基础模型的先验知识。

关键结果

该方法在视觉质量和长期一致性上显著优于基线。

资源

论文