基于轻量级预测世界模型的情感条件短时人体姿态预测

arXiv 2026 47.1 method, application

TLDR

轻量级自回归世界模型通过门控融合利用面部情感嵌入改进短期人体姿态预测

评分理由

The paper introduces a novel approach by conditioning pose prediction on emotion signals, with a lightweight LSTM-based model and counterfactual analysis. However, it relies on small-scale datasets and lacks comparisons to strong baselines, limiting generalizability.

Read-first 评分解释

综合优先阅读分 47.1，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 17。

近期性 6%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

方法质量 18%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：数据集、实验、指标、结果

引用影响力 18%

64.9

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。归一化引用分位：0.6491417

可复现性 18%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：数据集

主题相关性 29%

24.3

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

引用速度 12%

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.00

研究版图角色

前沿论文桥接论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：363。

关键词评分

world model

world dynamics prediction

generative world model

video world model

interactive world model

world simulator

model-based reinforcement learning world model

深度分析

创新点

引入面部表情衍生的情感嵌入作为短期人体姿态预测的辅助条件信号，超越仅依赖几何运动线索的方法。
提出一种轻量级自回归预测世界模型，配备可学习的门控机制，用于姿态关键点与情感嵌入的多模态融合。
通过反事实扰动实验证明预测轨迹对多模态输入变化具有可测量的敏感性，确认情感嵌入作为条件信号而非冗余特征。

方法

本文提出一种基于两层LSTM架构的轻量级自回归预测世界模型。该模型通过可学习的门控机制将姿态关键点与面部表情衍生的情感嵌入相结合，以自回归展开方式执行15步滚动姿态预测。模型在两个小规模姿态-情感视频数据集上评估：一个为受控运动序列（面部表情变化极小），另一个为自然情感驱动运动序列（面部表情变化显著）。

关键结果

归一化门控融合显著提升了情感驱动运动序列的预测精度，而简单的多模态融合未能持续改善性能。反事实扰动实验表明，预测轨迹对多模态输入变化具有可测量的敏感性，说明面部表情嵌入作为辅助条件信号发挥作用。

局限性

实验基于小规模姿态-情感视频数据集，可能限制泛化能力。
模型仅限于短期（15步）预测，未评估更长时域的性能。
无门控的简单多模态融合未能持续提升预测精度，表明情感嵌入的朴素整合并非总是有益。
研究仅考虑面部表情衍生的情感嵌入，未探索其他模态或情感来源。

技术栈

LSTM可学习门控机制姿态关键点情感嵌入自回归预测世界模型

资源

论文