VeriPhy:用于世界模型评估与细化的智能体物理推理
TLDR
VeriPhy是可审计的物理验证系统,评估生成视频的物理义务,在人工标注语料上优于先前评估器。
评分理由
The paper presents a novel provenance-based evaluation method and benchmark for physical reliability in generated video, with strong auditable evidence. The main weakness is that the abstract is truncated, and the system depends on frozen expert modules and an external backbone, limiting insight into end-to-end refinement.
Read-first 评分解释
综合优先阅读分 30.4,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 31。
研究版图角色
排序敏感性
稳定性:volatile;排名波动范围:207。
关键词评分
深度分析
创新点
- VeriPhy 引入了一个可审计的物理验证系统,在观察任何帧之前将提示编译为类型化物理义务和静态验证的执行计划。
- 执行过程中,观测仅门控并限定对冻结低层专家(如分割与跟踪、计数、十一种类型化物理测量、深度、OCR 和音频事件检测)的声明式调用。
- 每个专家动作返回一条携带溯源(provenance)的证据记录,其载荷要么是类型化测量,要么是显式标记的学习状态。
- 类型化解析器和固定组合将可用证据记录映射为三值状态(supported、contradicted 或 unknown;以 plausible、implausible 或 abstain 呈现),并带有完整溯源。
- 评估基于一个包含 1,500 个片段的人工标注缺陷记录语料库,这些记录定位了生成失败在提示引用、空间和时间上的真实问题。
- 每条裁决都保留其证据记录和溯源,使痕迹可逐条审计,并可作为将批评者裁决写回生成的接口。
方法
VeriPhy 使用纯文本规划器,在观察帧之前将提示编译为类型化物理义务和静态验证的执行计划。执行期间,观测仅门控并限定对冻结低层专家的声明式调用;每次调用返回携带溯源的证据记录。随后,类型化解析器和固定组合将可用记录映射为 supported、contradicted 或 unknown 的裁决,并带有完整溯源。
关键结果
在包含 304 条人工标注缺陷记录的 149 片段核心集上,VeriPhy 覆盖了 228 条,而已发布的 question-decomposition evaluator 在相同片段和声明下覆盖了 164 条。对同一骨干网络进行整体提示可达 222 条,因此主要区别在于可审计的溯源,而非仅召回率。