行而知之：通过多轮交互构建LLM高效世界模型推理

arXiv 25.11 2025 48.2 method

TLDR

WMAct通过奖励缩放和交互退火提升LLM世界模型推理，实现单轮任务解决。

评分理由

The paper introduces novel mechanisms (reward rescaling and interaction frequency annealing) that effectively reduce redundant interactions and internalize environmental dynamics. Strengths include clear methodology and empirical validation on multiple environments, but the abstract lacks details on limitations and generalizability beyond the tested tasks.

Read-first 评分解释

综合优先阅读分 48.2，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 31。

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基准、实验

主题相关性 42%

44.3

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

研究版图角色

前沿论文

排序敏感性

稳定性：volatile；排名波动范围：406。

关键词评分

world model

interactive world model

model-based reinforcement learning world model

world dynamics prediction

world simulator

generative world model

video world model

深度分析

创新点

通过高效交互与主动推理实现世界模型内化（WMAct）
奖励缩放机制，根据行动效能调整结果奖励，以激励冗余减少和有目的的交互
交互频率退火策略，逐步减少最大允许交互轮数，迫使模型压缩学习并内化环境动态

方法

WMAct使用多轮交互，包含两个关键机制：奖励缩放机制根据行动效能调整结果奖励，以激励冗余减少和有目的的交互；交互频率退火策略逐步减少最大允许交互轮数，迫使模型压缩学习并内化环境动态。实验在Sokoban、Maze和Taxi环境中进行。

关键结果

WMAct产生了有效的世界模型推理，能够在单轮中解决之前需要多次交互的任务，并促进了对复杂环境的强迁移性，在一系列推理基准上提升了性能。

技术栈

LLMmulti-turn interactionreward rescalinginteraction annealing

资源

论文