Awesome Auto Research Hub 论文 · 数据集 · 项目
← 返回论文列表

Deep Research 是否可靠?误导性知识导致错误结论

arXiv 2026 59.5 method

TLDR

Deep Research 智能体易受误导性知识影响,即使有验证仍导致错误结论,MisKnow-Agent 框架揭示此漏洞。

评分理由

The paper introduces a systematic framework to study a critical failure mode, with controlled experiments and defense evaluations. However, it relies on a synthetic benchmark rather than real-world deployment, and the scope is limited to a single type of misinformation.

Read-first 评分解释

综合优先阅读分 59.5,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 61。

近期性 8%
100

使用温和的时间衰减,让近期论文更容易浮现,同时保留较早基础工作的价值。 年份:2026

方法质量 25%
90

检查可见的摘要与分析字段,寻找实验、数据集、基线、指标和局限性等方法证据。 命中信号:基准、评估、实验、验证

主题相关性 42%
50.8

使用现有 LLM 关键词相关性评分,并归一化到 0-100。 关键词:AI scientist、automated scientific discovery、autonomous research agent、automated research、literature review agent、survey generation、automated experimentation、experiment design agent、AI for scientific research、paper writing agent、research automation、scientific discovery agent

可复现性 25%
30

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。 论文:有;代码:无;数据:无;命中信号:无

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性:volatile;排名波动范围:35。

关键词评分

autonomous research agent
8
automated research
7
AI for scientific research
7
research automation
7
automated scientific discovery
6
literature review agent
5
scientific discovery agent
5
AI scientist
4
survey generation
4
paper writing agent
4
automated experimentation
2
experiment design agent
2

深度分析

创新点

  • MisKnow-Agent:一个用于构建和验证具有可控权威级别和风格的误导性知识的框架,在 DeepResearch Benchmark 任务上生成了 5,933 个质量受控的实例。
  • 系统性地证明了即使有限地接触误导性知识,也会导致 Deep Research 智能体在最终报告中采纳错误结论。
  • 对研究前和研究后防御措施的评估表明,它们能缓解但无法完全防止错误结论,揭示了在模型和框架层面都需要证据验证和纠正能力。

方法

本文使用 MisKnow-Agent 框架构建了 5,933 个误导性实例,改变了权威性和风格,基于 DeepResearch Benchmark 任务。在开源和闭源 Deep Research 智能体上进行了大量实验,测量最终报告中的错误结论采纳情况。还评估了支持搜索的验证模型以及研究前和研究后防御措施的组合。

关键结果

有限接触误导性知识会导致最终报告中采纳错误结论;支持搜索的验证器在聚焦语料验证中能识别出误导性实例,但相同的实例在长期研究过程中仍会被采纳,揭示了脱节现象;所有防御配置都能缓解但无法完全防止错误结论的采纳。

局限性

  • 研究前和研究后防御措施,单独或组合使用,都能缓解但无法完全防止错误结论的采纳。
  • 聚焦验证能力与工作流层面证据使用之间存在脱节,因为验证模型能够识别出误导性实例,但无法阻止其在长期研究过程中被采纳。

标签