Awesome World Model Hub 论文 · 数据集 · 项目
← 返回论文列表

NarrativeWorldBench:一个前沿饱和的基准测试与面向长程协同创作音频剧的潜在世界模型

arXiv 2026 57.9 benchmark, method, application

TLDR

提出长程音频剧基准NarrativeWorldBench和潜世界模型N-VSSM,后者在200集内保持高一致性,超越前沿LLM。

评分理由

Strengths include a novel benchmark with cross-lingual evaluation and a latent world model that outperforms frontier LLMs on long-arc consistency with lower compute, validated by a human study. Weaknesses are domain specificity to audio drama and lack of generalization evidence to other modalities.

Read-first 评分解释

综合优先阅读分 57.9,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 34。

近期性 6%
100

使用温和的时间衰减,让近期论文更容易浮现,同时保留较早基础工作的价值。 年份:2026

引用影响力 18%
95.7

使用 OpenAlex 形态的引用元数据作为文献关注度信号,并与论文本身质量分开处理。 归一化引用分位:0.95681112

方法质量 18%
80

检查可见的摘要与分析字段,寻找实验、数据集、基线、指标和局限性等方法证据。 命中信号:基准、评估、指标

主题相关性 29%
48.6

使用现有 LLM 关键词相关性评分,并归一化到 0-100。 关键词:world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 18%
38

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。 论文:有;代码:无;数据:无;命中信号:代码

引用速度 12%
0

引用速度按发表年限估算年均引用,降低旧论文天然占优的偏差。 年均引用:0.00

研究版图角色

基础论文前沿论文桥接论文方法锚点

排序敏感性

稳定性:volatile;排名波动范围:404。

关键词评分

world model
9
generative world model
8
world dynamics prediction
7
interactive world model
6
world simulator
3
model-based reinforcement learning world model
1
video world model
0

深度分析

创新点

  • NarrativeWorldBench:包含九个叙事结构指标的开放基准,覆盖h∈{10,20,50,100,200}的视界,并跨四种印度语言(印地语、泰米尔语、泰卢固语、马拉地语)进行跨语言评估。
  • N-VSSM:一种叙事变分状态空间模型,通过基于Mamba-2骨干网络和事件条件后验的8B解码器,在超过200集内维持256维结构化潜世界状态。
  • 学习到的文化迁移函数(Cultural Transfer Function),将跨语言保真度提升+0.20至+0.23 Likert分。

方法

论文对21个模型(涵盖经典、微调、开放前沿、封闭前沿和推理层级)在统一的叙事结构指标集上进行基准测试。引入NarrativeWorldBench(含九个指标和跨语言评估),并提出N-VSSM——一种使用Mamba-2骨干网络和事件条件后验的潜世界模型。通过包含12位专业作者、240次试验的受试者内写作研究,将N-VSSM与Claude Opus 4.5进行比较。

关键结果

N-VSSM在所有视界上达到情节节拍F1=0.84,计算量仅为封闭前沿模型群的1/4。文化迁移函数将跨语言保真度提升+0.20至+0.23 Likert分。在写作研究中,N-VSSM在长弧一致性上以71%的偏好率优于Claude Opus 4.5,且在可控性上高出+1.3 Likert分。

局限性

  • 基准仅覆盖四种印度语言,限制了跨语言泛化性。
  • 写作研究仅使用12位专业作者,可能不具有代表性。
  • 模型性能仅在音频剧领域评估,对其他长程叙事的泛化能力未知。
  • 封闭前沿系统在情节节拍F1 [0.78, 0.81]处饱和,并在视界h=200时下降约-0.20 F1,表明当前LLM在长程连贯性上存在根本性局限。

技术栈

Mamba-28B decoderCultural Transfer FunctionN-VSSMNarrativeWorldBenchVariational State-Space Model

标签

audio dramalong-horizonbenchmarknarrative understandingstate-space modelLLM evaluationCLAI