SafeScientist：面向风险感知的LLM智能体科学发现

arXiv 2025 66.1 method

TLDR

SafeScientist提出具有安全机制的LLM智能体框架及基准，安全性能提升35%且不牺牲科学产出。

评分理由

The paper presents a novel safety-focused AI scientist framework with multiple defensive layers and a dedicated benchmark, demonstrating significant safety improvements. However, it does not address other aspects of scientific discovery like literature review or experiment design, and the evaluation is limited to safety metrics.

Read-first 评分解释

综合优先阅读分 66.1，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 68。

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：有；数据：无；命中信号：代码、GitHub

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基准、实验

主题相关性 42%

56.7

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：AI scientist、automated scientific discovery、autonomous research agent、automated research、literature review agent、survey generation、automated experimentation、experiment design agent、AI for scientific research、paper writing agent、research automation、scientific discovery agent

研究版图角色

前沿论文复现锚点

排序敏感性

稳定性：volatile；排名波动范围：66。

关键词评分

AI scientist

automated scientific discovery

AI for scientific research

scientific discovery agent

autonomous research agent

research automation

automated research

automated experimentation

experiment design agent

literature review agent

survey generation

paper writing agent

深度分析

创新点

SafeScientist：一个集成了安全机制（提示监控、智能体协作监控、工具使用监控、伦理审查）的AI科学家框架，主动拒绝不道德或高风险任务
SciSafetyBench：一个用于评估科学场景中AI安全性的基准，包含6个领域的240项高风险任务、30个科学工具和120项工具相关风险任务

方法

SafeScientist将多个防御性监控组件集成到LLM智能体框架中，以确保研究过程的安全性。该框架使用提出的SciSafetyBench基准进行评估，比较安全性能和科学产出质量与传统AI科学家框架的差异，并测试对对抗攻击的鲁棒性。

关键结果

SafeScientist在不牺牲科学产出质量的前提下，安全性能比传统AI科学家框架提升35%，并展现出对多种对抗攻击的鲁棒性。

资源

论文代码