从科学观测到机制：对AI科学家假设生成的基准测试

arXiv 2026 56.7 method

TLDR

MechHypoBench评估AI科学家从14个领域真实数据生成机制性假设，发现其与真实机制差距较大。

评分理由

The paper introduces a novel, cross-domain benchmark with real-world datasets and a principled evaluation framework, which are notable strengths. However, the abstract does not detail specific baseline results or limitations, making it hard to assess the severity of the reported performance gap.

Read-first 评分解释

综合优先阅读分 56.7，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 47。

近期性 8%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：分析、基准、数据集、评估、实验

主题相关性 42%

39.2

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：AI scientist、automated scientific discovery、autonomous research agent、automated research、literature review agent、survey generation、automated experimentation、experiment design agent、AI for scientific research、paper writing agent、research automation、scientific discovery agent

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：数据集

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：94。

关键词评分

AI scientist

AI for scientific research

automated scientific discovery

scientific discovery agent

autonomous research agent

automated research

research automation

literature review agent

survey generation

automated experimentation

experiment design agent

paper writing agent

深度分析

创新点

提出MechHypoBench，这是首个评估AI智能体与AI科学家能否根据经验数据生成机制性假设的基准。
将14个科学领域源自论文的机制与包含1798万条记录的真实世界数据集相结合，在保留观测复杂性的同时提供明确指定的底层机制。
开发了一种评估框架，通过在留出条件下的后果来评估开放式机制性假设。

方法

MechHypoBench由来自14个科学领域的论文衍生机制和总计1798万条记录的真实世界数据集构建而成。AI智能体分析观测结果并提出开放式假设。随后，评估框架通过比较这些假设在留出条件下的后果来对其加以评估。

关键结果

针对通用智能体和AI科学家的实验表明，生成的假设与底层机制之间存在显著差距。

资源

论文