DepthBenchCAD：深度审计何时能带来更可靠的结论？
TLDR
固定预算下，深度编辑审计在模板或生成方差主导时反而降低评估可靠性；校准可预测何时更广覆盖更优。
评分理由
The paper contributes a useful variance-and-cost framework for balancing audit depth against independent coverage, supported by experiments across multiple CAD environments and generation systems. Its abstract is somewhat truncated, and the specific CAD representation families are not addressed, limiting the scope of the claimed conclusions.
Read-first 评分解释
综合优先阅读分 54.4，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 52。
研究版图角色
前沿论文方法锚点
排序敏感性
稳定性：volatile；排名波动范围：41。
关键词评分
深度分析
创新点
- 将生成式CAD模型的行为评估分解为三个证据层级：任务模板、随机生成和程序内编辑。
- 定义了一个与审计深度无关的平均失败风险，从而能够比较不同审计深度的评估设计。
- 将三层方差成分与实测执行成本相结合，形式化地刻画了更深度编辑审计与更广泛独立覆盖之间的固定预算权衡。
- 提供了一种基于校准的诊断方法，可预测额外编辑检查会增加还是减少留出任务上的估计误差。
方法
本文将行为评估形式化为对任务模板、随机生成和程序内编辑的采样，并定义了与审计深度无关的平均失败风险。它将这三个层面的方差成分与实测执行成本相结合，分析固定预算在更深编辑审计与更广泛任务或生成覆盖之间的分配。实验涵盖两个CAD环境和五个生成系统，利用校准方差和成本估计来预测留出任务上的误差变化。
关键结果
在两个CAD环境和五个生成系统中，当模板异质性或生成随机性占主导时，额外的编辑检查增加了总估计误差；而当程序内状态变化较大且生成成本较高时，更深度审计更有价值。校准方差和成本估计预测了留出任务上估计误差变化的方向。
局限性
- 分析假设固定的评估预算，因此结论可能不适用于无预算限制的评估设计。
- 实证验证仅限于两个CAD环境和五个生成系统，因此对其他领域或系统的普适性尚未得到验证。
- 更深度审计的价值取决于主导方差成分，因此需要来自校准的可靠方差和成本估计。