WorldCraft:从相机导航到交互式视频世界模型中的物体操控
TLDR
WorldCraft将交互式视频世界模型从相机导航扩展到物体级轨迹操控,采用新颖的轨迹控制技术。
评分理由
The paper addresses a clear limitation of existing video world models (only camera control) and proposes a framework with three novel components (NWT, SP-LoRA, TASP). However, the abstract lacks mention of real-world experiments or benchmarks, making it unclear if the method is empirically validated.
Read-first 评分解释
综合优先阅读分 55.8,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 46。
研究版图角色
基础论文前沿论文桥接论文
排序敏感性
稳定性:volatile;排名波动范围:363。
关键词评分
深度分析
创新点
- 将交互式视频世界模型从相机导航扩展到物体级轨迹动作
- Normalized World Trajectory (NWT) 用于用户绘制运动的相机不变表示
- Spatial-Pathway LoRA (SP-LoRA) 用于将世界空间信号注入模型的空间控制路径
- Trajectory-Anchored State Persistence (TASP) 用于在轨迹条件生成后刷新自回归记忆
方法
WorldCraft采用以轨迹为中心的控制流程。首先,Normalized World Trajectory (NWT) 在相机不变的世界坐标系中表示用户绘制的运动,并在当前相机姿态下重新投影。然后,Spatial-Pathway LoRA (SP-LoRA) 通过模型的空间控制路径注入该世界空间信号。最后,Trajectory-Anchored State Persistence (TASP) 在轨迹条件生成后刷新自回归记忆,以在相机视野外保持物体状态。
关键结果
WorldCraft实现了精确的物体控制,在仅相机评估下保持了基于视频的世界模型的相机保真度,并在包含相机视野外移动的长自回归展开中维持物体状态。