（人类）注意力（依然）是全部所需：人类监督使AI辅助的社会科学研究可靠

arXiv 2026 54.3 method

TLDR

通过HLER架构的人类监督将AI辅助社会科学研究失败率从72%降低到16%。

评分理由

The paper presents a well-designed experiment with strong empirical evidence (Fisher's test p<0.001) and a real-world historical dataset. Its strength lies in demonstrating that reliability depends on structuring human-machine cognitive labor, not just model capability. A weakness is the narrow focus on social science and the specific HLER architecture, limiting generalizability.

Read-first 评分解释

综合优先阅读分 54.3，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 33。

方法质量 25%

100

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：消融、基线、数据集、评估、实验

近期性 8%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：数据集

主题相关性 42%

27.5

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：AI scientist、automated scientific discovery、autonomous research agent、automated research、literature review agent、survey generation、automated experimentation、experiment design agent、AI for scientific research、paper writing agent、research automation、scientific discovery agent

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：133。

关键词评分

AI for scientific research

automated experimentation

research automation

automated scientific discovery

automated research

experiment design agent

AI scientist

scientific discovery agent

autonomous research agent

literature review agent

survey generation

paper writing agent

深度分析

创新点

人机协同经济研究（HLER）决策架构，整合了预先承诺、决策排序、问责制和注意力分配
三项架构承诺：LLMs进行推理但不执行数据工作，数据和估计以确定性方式处理，以及三个人类决策门控绑定工作流程
将系统概念化为研究约束框架而非自主AI科学家，使残余弱点可见并防止不可靠的声明被推进

方法

一项预先指定的2×4因子实验，在四个数据集上进行了280次完整研究运行，比较了无约束的多智能体基线与HLER，使用相同的底层模型、智能体分解以及共享推理智能体的相同提示。失败率通过Fisher精确检验进行比较，一项80次运行的消融实验评估了确定性计算和人类门控的独立贡献。

关键结果

无约束基线在72%的运行中产生关键失败，而HLER将失败率降低至16%（p<0.001）。可靠性提升在公开代表性最低的数据集（清代人口登记册）上最大，消融实验表明确定性计算和人类门控具有独立贡献，并存在互补性的探索性证据。

局限性

即使使用HLER，仍有16%的残余失败率
确定性计算与人类门控之间互补性的证据是探索性的
评估仅限于四个数据集和单一底层模型架构
人类决策门控引入了人类努力和潜在瓶颈，这些在摘要中未量化

资源

论文