⌁ Awesome World Model Hub 论文 · 数据集 · 项目
English GitHub

汇总分析

研究分析

跨论文归纳研究共性、关键差异、主流方向与趋势演进。

1599 篇论文

method

New world model architectures, training objectives, inference methods, or planning/control algorithms.

19 引用影响力 1 引用速度 3 图谱声望 60 方法质量

文献综述归纳

研究路线

生成式视频世界模型与目标设计

将世界模型目标落实为扩散或Transformer视频预测器，并以语言、动作或上下文为条件，加入几何与物理相关的辅助信号

尚未覆盖：哪些目标和表示能带来长时域、物理合理且支持新组合的生成，超出已报告数据集的范围
潜在基于模型的强化学习与动作接口方法

通过想象推演把学到的潜在动力学连接到策略优化，并用上下文条件应对零样本动力学变化

尚未覆盖：提升来自动力学模型还是策略、规划器、上下文先验或任务简化；观测上下文等假设是否成立
世界模型评测与基准协议

用闭环或循环导航评估衡量记忆一致性、空间一致性和动作控制，而不仅仅看生成保真度

尚未覆盖：某个基准的基线和实验结果仍不完整；当前证据显示长期记忆和跨动作空间泛化难以单独衡量

研究共性

  • 预测未来观测或潜在状态是近期世界模型方法的核心训练目标。
  • 动作、语言或上下文条件被广泛用于提升可控性和下游任务泛化。
  • 掩码重建、深度预测或关键点动力学等辅助自监督信号常用于增强物理和几何一致性。
  • 闭环评估正在成为开放域视频生成质量之外的必要补充，尤其关注记忆和动作控制。

关键差异

  • 表示不同：紧凑潜在状态空间推演用于基于模型的强化学习，而显式高维视频生成用于规划或仿真。
  • 监督与交互模式不同：有的从无动作视频学习，有的从动作条件视频学习，有的从上下文条件潜在推演学习。
  • 评测目标不同：Atari式强化学习分数、驾驶视频基准、机器人任务执行和闭环记忆/动作控制基准捕捉的是世界模型质量的不同侧面。
  • 输入结构假设不同：有的依赖可观测上下文值或预定义语言原语，有的假设大规模多任务机器人数据集中视频与动作成对可得。

开放问题

  • 报告的提升有多少来自世界模型架构本身，而非策略、规划器、数据规模或辅助训练损失？
  • 组合式世界模型能否泛化到训练中未见过的新原语或新上下文，而不只是已见原语的组合？
  • 哪些基准指标能单独衡量长期记忆一致性以及跨动作空间和视角的动作控制泛化？
  • 多篇顶部论文缺少明确局限说明或可比的基线与指标细节；可复现性和负面证据报告还存在多少缺口？
CVAIworld modelsROworld modelLGvideo generationreinforcement learning

1565 篇论文

application

Domain applications of world models, such as robotics, driving, games, healthcare, or scientific simulation.

19 引用影响力 1 引用速度 3 图谱声望 61 方法质量

文献综述归纳

研究路线

面向驾驶的视频扩散与掩码重建路线

从观测和动作生成长时域、多视角驾驶视频，用于仿真和场景推演。

尚未覆盖：NuScenes、OpenDV-2K和Waymo预测指标之外的闭环驾驶安全与真实运营迁移尚未验证。
面向机器人的组合式与物理信息视频生成路线

通过将语言指令分解为原语，或引入深度与关键点物理目标，生成机器人想象视频计划。

尚未覆盖：未见原语、未见物理场景以及仿真之外的实体机器人执行仍缺乏直接证据。
动作耦合视频扩散的机器人策略预训练路线

在大规模多任务机器人数据上统一建模策略、前向/逆向动力学和视频生成。

尚未覆盖：跨本体、跨数据集和部署鲁棒性尚未建立。
基于随机或上下文潜在世界模型的模型强化学习路线

在Atari和上下文强化学习基准中通过想象轨迹进行样本高效策略学习。

尚未覆盖：可观测上下文假设和较窄任务覆盖限制了更广泛的零样本泛化结论。

研究共性

  • 多数工作将世界模型视为以观测、动作、语言或上下文为条件的预测生成器，以辅助规划或策略学习。
  • 近期证据强调视频生成质量、长时域推演、物理合理性、记忆一致性和动作控制作为评测目标。
  • 存在向扩散Transformer或随机潜在动力学等生成式架构演进的共同趋势。
  • 应用越来越要求对未见场景、上下文、目标或本体的零样本或跨域泛化。
  • 报告的限制多集中在仿真或数据集层面验证，部署级证据常缺失或明确留作开放问题。

关键差异

  • 一分支在Atari或上下文控制中学习紧凑潜在策略，另一分支为驾驶与机器人想象生成显式高维视频，还有分支主要构建评测数据与指标。
  • 监督与条件不同：可观测上下文值、语言解析原语、深度和关键点物理信号、动作-视频扩散时间步或基准动作空间。
  • 评测目标不同：Atari人类标准化分数、CARL任务零样本策略迁移、NuScenes/OpenDV-2K/Waymo驾驶预测、仿真中的机器人视频计划执行，以及记忆/动作一致性分数。
  • 泛化范围不同：部分测试未见目标或零样本数据集，部分仅覆盖见过的原语组合或两个CARL任务，基准论文报告挑战而非模型改进。
  • 物理真实性处理不同：机器人视频生成中显式物理信息损失、模型基强化学习中隐式潜在动力学，或仅做基准而不建模物理。

开放问题

  • 驾驶视频预测和基准一致性的改进能否转化为真实闭环驾驶安全与运营结果？
  • 物理信息或语言组合式机器人世界模型在未见物理物体、动作和真实机器人执行上是否保持准确？
  • 当零样本策略泛化需要时，世界模型如何处理部分观测或不可观测上下文？
  • 当前记忆一致性和动作控制指标能否预测下游规划、策略学习或长期物理任务成功？
  • 哪些证据能将生成视频与动力学质量同跨本体、跨数据集或跨机构迁移关联起来？
CVAIworld modelsROworld modelLGvideo generationreinforcement learning

1128 篇论文

benchmark

Datasets, evaluation suites, metrics, stress tests, leaderboards, or benchmark studies.

19 引用影响力 1 引用速度 3 图谱声望 65 方法质量

文献综述归纳

研究路线

基准任务与数据集设计

构建共享任务与数据集，例如Minecraft循环导航视频或跨场景多动作空间视频，以比较世界模型的空间、记忆和动作一致性。

尚未覆盖：这些精选分布是否覆盖世界模型预期发挥作用的开放域和长时域设置尚不确定；某数据集工作摘要未报告实验结果。
指标与压力测试设计

提出场景图一致性分数、记忆一致性与动作控制度量、Atari人类归一化分数等定向探针，在聚合总分之外检验具体能力。

尚未覆盖：这些代理指标与下游策略或部署效用之间的一致性仍不清楚；若干压力测试仅覆盖有限任务或场景。
可比基线与报告规范

通过Atari 100k、Nuscenes、OpenDV-2K、Waymo、CARL等共享基准，使世界模型训练、展开和泛化结果更可审计。

尚未覆盖：基准结论能否在不同实现和算力预算下保持稳定尚未验证；若干高排名论文未报告局限性或未明确所有工件可用性。
生成式世界模型预训练与下游评测

检验联合视频-动作扩散、物理信息目标或掩码重建训练是否提升视觉保真度、物理合理性、策略训练或零样本泛化。

尚未覆盖：证据多覆盖特定基准或机器人任务；对未知动力学、真实部署和开放域长期记忆的泛化仍缺少检验。

研究共性

  • 世界模型评测正在转向针对空间一致性、记忆一致性、物理合理性和动作控制等具体能力的探测，而非仅依赖视觉质量或聚合分数。
  • 共享基准和精选数据集被用作比较生成式世界模型的共同基础，结果通常报告在Atari 100k、CARL、Nuscenes、OpenDV-2K和Waymo等套件上。
  • 多项工作将世界模型视为可训练的模拟器，通过下游策略训练、策略评估或零样本泛化来检验其实际用途。

关键差异

  • 评测目标不同：基于循环的空间一致性、记忆一致性与动作控制、零样本上下文动力学、以及游戏视觉细节或智能体表现对应不同优先级。
  • 交互与监督不同：一些基准提供配对动作或动作空间，而一些方法从无动作视频学习，或依赖可观测上下文值。
  • 表示与训练目标不同：方法包括带掩码重建的扩散Transformer、随机Transformer-VAE模型、物理信息关键点/深度训练以及视频-动作联合扩散。

开放问题

  • 当前代理指标是否与下游机器人策略或真实部署决策一致，而不只是基准排名？
  • 当前数据集和压力测试能否覆盖开放域长时域记忆、跨动作空间泛化和未知动力学？
  • 报告提升是否能在独立实现、不同算力预算以及超出测试场景或有限CARL任务的更广任务分布中保持稳定？
  • 若干高排名论文未报告局限性或未明确工件可用性，这是可复现性验证缺口，而非缺失资产的证明。
CVworld modelsROAIworld modelLGvideo generationautonomous driving

543 篇论文

system

Runnable systems, platforms, simulators, frameworks, toolkits, or deployed pipelines.

19 引用影响力 1 引用速度 4 图谱声望 64 方法质量

文献综述归纳

研究路线

上下文条件化的基于模型的强化学习系统

将可观测上下文整合到世界模型潜在动力学中，以提升在想象轨迹上训练策略的零样本泛化能力。

尚未覆盖：假设上下文值可观测，且仅在两个CARL任务上验证；隐藏上下文设置和更广泛部署仍未覆盖。
动作可控的闭环驾驶世界模型模拟器

将视频生成转化为具备动作忠实度、多视图一致性和规划或策略评估用途的可控驾驶模拟。

尚未覆盖：评估集中在nuScenes、nuPlan或Waymo设置；长时程跨视图一致性、对其他传感器或环境以及多GPU部署的泛化尚未得到验证。
物理信息驱动与空间一致性感知的世界模型评测

加入空间或物理一致性信号、指标和数据集，以评估超出像素级保真度的世界模型推演。

尚未覆盖：大量证据停留在数据集或基准构建；独立下游模型对比和实验结果仍然有限或缺失。
将预训练视频生成器重构为可控世界模拟器

将轻量级动作条件模块插入现有扩散或自回归视频生成器，为游戏和机器人生成动态、动作可控的转移视频。

尚未覆盖：依赖预训练模型偏差，可能牺牲细粒度视觉细节，且仅在选定的游戏和机器人领域验证。

研究共性

  • 学习到的世界模型正被重新定位为用于闭环控制和策略评估的可运行模拟器，而不仅是开环视频生成器。
  • 通过动作、轨迹、上下文值或物理/关键点信号进行显式条件化，被广泛用于提升生成未来的可控性和一致性。
  • 定量基准和开放工件在比较可控性、动作忠实度以及空间或物理一致性方面日益重要。

关键差异

  • 表示选择在循环状态空间模型、扩散Transformer和自回归生成器之间存在差异。
  • 监督策略不同：上下文条件化、物理信息时间深度与关键点学习、轨迹标注动作数据或运动增强损失。
  • 主要评测目标不同：有的优化零样本策略泛化，有的优化动作忠实度或空间一致性，有的优化场景真实感或规划用途，有的优化系统延迟。

开放问题

  • 这些系统在nuScenes、CARL、Minecraft LoopNav或选定游戏和机器人领域之外的迁移能力如何？
  • 长时程闭环模拟能否在保持亚秒级或实时延迟的同时，维持几何、空间和物理一致性？
  • 当代码或数据集工件不完整时，跨团队、数据集和基础设施的独立复现证据如何？
  • 部署流水线应如何处理不可观测上下文、分布偏移和预训练模型继承偏差？
CVAIworld modelsROworld modelLGvideo generationbenchmark

293 篇论文

theory

Theoretical analysis, formalization, guarantees, scaling laws, or conceptual foundations.

22 引用影响力 0 引用速度 3 图谱声望 65 方法质量

文献综述归纳

研究路线

动作条件视频动力学建模

从观测和动作学习未来帧动态，并灵活表示策略、前向/逆向动力学或适配的预训练视频生成器用于机器人控制。

尚未覆盖：生成帧与真实环境动态一致的形式条件尚未建立；评测集中在特定机器人和游戏任务，较少覆盖因果持续性和可保证的迁移。
偏好与物理对齐的具身世界建模

通过奖励模型或DPO式偏好信号后训练视频世界模型，以改善物理真实性、任务逻辑、具身合理性和视觉质量。

尚未覆盖：接触丰富操作任务之外的泛化以及对人类偏好数据的依赖仍未解决；零样本物理基准较新，跨本体验证不足。
状态/动态概念化与测试时评测

澄清视频生成作为世界模型中的状态构建和动态建模边界，并诊断空间推理中的测试时验证器。

尚未覆盖：所提分类法和功能基准尚未被证明会改变模型设计或评测实践；当前模型仍构成信息瓶颈，验证器缩放不一致。

研究共性

  • 证据中的世界模型主要表现为动作条件视频生成或学习式动力学，而非纯形式对象。
  • 动作-帧对齐和可控性被视为面向机器人的世界模型的核心要求。
  • 仅视觉质量被认为不够，越来越需要物理合理性、逻辑一致性或因果/持续性评测。
  • 在带动作标签的视频数据上预训练或适配是策略学习和合成轨迹生成的共同路径。

关键差异

  • 生成形式不同：统一扩散中的独立模态时间步、掩码自回归令牌预测、基于流的后训练和基于学习掩码的闭源模型适配。
  • 对齐信号不同：帧级动作条件化、奖励/DPO偏好后训练、测试时验证器接地。
  • 评测目标不同：操作基准与模型规划、视频游戏和真实机器人适配、空间推理基准、零样本物理与轨迹基准。
  • 交互与部署假设不同：低层动作输入、键盘/VR控制、跨本体动作注入和实时视频模拟。

开放问题

  • 哪些显式状态/动态假设能在动作条件视频模型中得到经验验证，哪些在策划的操作或游戏场景之外失效？
  • 当前验证器缩放不一致且校准差，如何建立从视觉保真度转向功能持续性和因果推理的基准？
  • 偏好或物理对齐后训练在何种条件下能跨接触丰富任务迁移，而不依赖昂贵的人类偏好收集？
  • 哪些证据能把模型规模、测试时缩放或对齐训练与预测的失败模式和跨本体迁移联系起来？
AIworld modelsCVLGworld modelROreinforcement learningvideo generation

185 篇论文

survey

Surveys, taxonomies, tutorials, position papers, or roadmap papers.

19 引用影响力 1 引用速度 4 图谱声望 60 方法质量

文献综述归纳

研究路线

针对世界模型的综述、分类与路线图综合

把分散的视频生成、自动驾驶和智能体世界模型研究映射为概念框架、设计空间维度与开放挑战。

尚未覆盖：所提出的分类法和评估方案大多停留在概念层面；可见证据缺少实证验证与指标实现。
基于语言与多模态目标的组合式视频世界建模

通过把视频生成分解为语言派生原语并分别条件化模型，提高对未见过物体-动作-目标组合的泛化能力。

尚未覆盖：泛化受限于训练中见过的原语；依赖可靠的语言解析，且仅展示仿真中的机器人执行。
持久化、实时和开源世界仿真

通过全局状态、监控机制、长期记忆和公开工件，解决长时程一致性、视线外动态和交互延迟问题。

尚未覆盖：可见证据中部分系统缺少局限性说明；跨环境鲁棒性与真实世界部署复现尚不充分。
面向自动驾驶的世界模型与时空数据集

为自主场景提供可控真实感合成、运动预测、地理参考和多智能体交通仿真能力。

尚未覆盖：开环与闭环评估的兼容性以及从仿真到真实的迁移仍未解决；多篇论文未给出明确局限。

研究共性

  • 生成式世界模型被视作仿真视觉动态、智能体环境和驾驶场景的统一机制。
  • 可控生成通常需要显式条件信号，例如语言指令、动作、目标、自运动或潜在状态。
  • 时间一致性、长时程行为与持久状态被认为是当前视频世界模型的主要弱点。
  • 评估仍较为分散，仿真、视频预测、运动预测和控制指标在不同工作中混用。

关键差异

  • 表示方式：语言派生原语分解、持久全局状态、潜在空间自回归模型和基于Transformer的时空模型提供了不同路线。
  • 范围：部分工作面向通用世界模型综合，另一些面向驾驶、机器人或自我视觉应用，导致数据集与评测重心不同。
  • 评测：部分论文报告实证基准或机器人执行结果；部分提出闭环度量套件和资源感知推理成本，但未实际实施。
  • 可复现性：部分系统公开代码和模型，其他工作的可见链接与局限性字段缺失或不完整。

开放问题

  • 组合式世界模型能否超越训练原语组合，支持全新物体、动作或真实机器人执行？
  • 当数据集、基线和指标在驾驶、机器人和自我视觉设置中存在差异时，如何对齐开环与闭环评估？
  • 概念性分类法和潜在空间框架能否转化为可度量的模型改进，还是仍然只是未经验证的路线图？
  • 哪种状态表示最能在保持生成实时性和内存可控的同时，保留视线外或长时程动态？
AIworld modelsCVLGROworld modelembodied AIvideo generation