⌁ Awesome World Model Hub 论文 · 数据集 · 项目
English GitHub
← 返回论文列表

StoryWeaver: 一个用于知识增强的故事角色定制的统一世界模型

arXiv 24.12 2024 61.3 method

TLDR

StoryWeaver通过角色图知识库实现一致的故事可视化，保持角色身份和文本对齐。

评分理由

The paper introduces a novel knowledge graph and image generator for story visualization, with strong empirical results on a new benchmark. However, it lacks discussion of world dynamics or interactive elements, limiting its scope to static image generation.

Read-first 评分解释

综合优先阅读分 61.3，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 19。

方法质量 25%
90

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。 命中信号：消融、基准、数据集、实验、指标

可复现性 25%
85

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。 论文：有；代码：有；数据：无；命中信号：代码、数据集、GitHub

近期性 8%
75.1

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。 年份：2024

主题相关性 42%
27.1

使用现有 LLM 关键词相关性评分，并归一化到 0-100。 关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

研究版图角色

方法锚点复现锚点

排序敏感性

稳定性：volatile；排名波动范围：759。

关键词评分

world model
8
generative world model
5
video world model
2
world simulator
1
interactive world model
1
world dynamics prediction
1
model-based reinforcement learning world model
1

深度分析

创新点

  • 角色图（CG）用于全面表示故事相关知识，包括角色、属性和关系
  • StoryWeaver通过角色图定制（C-CG）实现具有丰富文本语义的一致故事可视化
  • 知识增强的空间引导（KE-SG）通过精确注入角色语义来改进多角色生成
  • 用于评估故事可视化方法的新基准TBC-Bench

方法

StoryWeaver引入了一个名为角色图（CG）的知识图谱，编码角色、其属性和关系。图像生成器使用通过角色图定制（C-CG）实现一致的故事可视化，并融入知识增强的空间引导（KE-SG）以改进多角色生成。该方法在新的基准TBC-Bench上使用DINO-I和CLIP-T指标进行评估。

关键结果

StoryWeaver在DINO-I上平均提升+9.03%，在CLIP-T上平均提升+13.44%，展示了在各种场景下优越的角色身份保持和文本语义对齐能力。

资源

论文代码

标签