NarrativeWorldBench:一个前沿饱和的基准测试与面向长程协同创作音频剧的潜在世界模型
TLDR
提出长程音频剧基准NarrativeWorldBench和潜世界模型N-VSSM,后者在200集内保持高一致性,超越前沿LLM。
评分理由
Strengths include a novel benchmark with cross-lingual evaluation and a latent world model that outperforms frontier LLMs on long-arc consistency with lower compute, validated by a human study. Weaknesses are domain specificity to audio drama and lack of generalization evidence to other modalities.
Read-first 评分解释
综合优先阅读分 57.9,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 34。
研究版图角色
排序敏感性
稳定性:volatile;排名波动范围:404。
关键词评分
深度分析
创新点
- NarrativeWorldBench:包含九个叙事结构指标的开放基准,覆盖h∈{10,20,50,100,200}的视界,并跨四种印度语言(印地语、泰米尔语、泰卢固语、马拉地语)进行跨语言评估。
- N-VSSM:一种叙事变分状态空间模型,通过基于Mamba-2骨干网络和事件条件后验的8B解码器,在超过200集内维持256维结构化潜世界状态。
- 学习到的文化迁移函数(Cultural Transfer Function),将跨语言保真度提升+0.20至+0.23 Likert分。
方法
论文对21个模型(涵盖经典、微调、开放前沿、封闭前沿和推理层级)在统一的叙事结构指标集上进行基准测试。引入NarrativeWorldBench(含九个指标和跨语言评估),并提出N-VSSM——一种使用Mamba-2骨干网络和事件条件后验的潜世界模型。通过包含12位专业作者、240次试验的受试者内写作研究,将N-VSSM与Claude Opus 4.5进行比较。
关键结果
N-VSSM在所有视界上达到情节节拍F1=0.84,计算量仅为封闭前沿模型群的1/4。文化迁移函数将跨语言保真度提升+0.20至+0.23 Likert分。在写作研究中,N-VSSM在长弧一致性上以71%的偏好率优于Claude Opus 4.5,且在可控性上高出+1.3 Likert分。
局限性
- 基准仅覆盖四种印度语言,限制了跨语言泛化性。
- 写作研究仅使用12位专业作者,可能不具有代表性。
- 模型性能仅在音频剧领域评估,对其他长程叙事的泛化能力未知。
- 封闭前沿系统在情节节拍F1 [0.78, 0.81]处饱和,并在视界h=200时下降约-0.20 F1,表明当前LLM在长程连贯性上存在根本性局限。