Awesome Auto Research Hub 论文 · 数据集 · 项目
← 返回论文列表

AI驱动发现中统计严谨性的结构性强制:一种函数式架构

arXiv 2025 55.3 method, theory

TLDR

一种函数式架构通过monadic DSL和形式化验证控制错误发现率,强制AI驱动发现的统计严谨性。

评分理由

Strengths: novel integration of formal methods (Lean4, SPARK/Ada) to ensure statistical rigor, with simulation and adversarial evaluation. Weaknesses: lacks real-world empirical validation; case studies may be synthetic, limiting generalizability.

Read-first 评分解释

综合优先阅读分 55.3,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 68。

近期性 8%
86.7

使用温和的时间衰减,让近期论文更容易浮现,同时保留较早基础工作的价值。 年份:2025

方法质量 25%
60

检查可见的摘要与分析字段,寻找实验、数据集、基线、指标和局限性等方法证据。 命中信号:评估、验证

主题相关性 42%
56.7

使用现有 LLM 关键词相关性评分,并归一化到 0-100。 关键词:AI scientist、automated scientific discovery、autonomous research agent、automated research、literature review agent、survey generation、automated experimentation、experiment design agent、AI for scientific research、paper writing agent、research automation、scientific discovery agent

可复现性 25%
38

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。 论文:有;代码:无;数据:无;命中信号:代码

研究版图角色

前沿论文

排序敏感性

稳定性:volatile;排名波动范围:68。

关键词评分

AI scientist
9
automated scientific discovery
9
AI for scientific research
8
scientific discovery agent
8
automated research
7
research automation
7
autonomous research agent
6
experiment design agent
6
automated experimentation
5
literature review agent
1
survey generation
1
paper writing agent
1

深度分析

创新点

  • Research monad:一种Haskell嵌入式DSL,强制每次假设检验更新误差预算,使得无法在不考虑多重性的情况下进行检验。
  • 带有操作系统级沙箱的声明式脚手架,物理隔离验证数据与LLM生成的代码运行的环境。
  • 在Lean 4中对LORD++在线FDR控制的机器检查形式化,包括误差预算的推导以及边际和完全FDR控制的证明。
  • 使用SPARK/Ada验证预算的财富不变性在IEEE 754浮点算术上,弥合从定理到实现的差距。
  • 首个从定理到浮点实现的在线FDR程序的验证链。

方法

该架构结合了一个Haskell EDSL(Research monad),强制假设检验消耗误差预算,以及一个沙箱执行环境,扣留验证数据不让LLM生成的代码访问。设计基于Lean 4对LORD++在线FDR控制的形式化,包含FDR控制的证明,并在SPARK/Ada中验证了财富不变性在IEEE 754算术上。评估使用模拟、端到端案例研究和对抗性测试。

关键结果

模拟显示该架构将错误发现率保持在接近1%(目标为5%),而朴素方法达到41%。端到端案例研究表明,有效测试避免了虚假发现,但仍能检测到真实效应。对抗性评估证实,生成的代码即使被给予确切路径也无法访问保留数据。

标签

SEAI