大语言模型能否通过自由探索发现隐藏的物理定律？
TLDR
LongChang 框架通过模拟物理法则改变的虚拟世界，检验 LLM 能否自主发现隐藏定律；仅 GPT-6-Astra 达到 16.7%。
评分理由
The paper proposes a novel automated benchmark for LLM-driven scientific discovery, using multi-agent review and scene evolution. However, the simulated environments limit real-world applicability, and the near-zero success rates across models highlight significant limitations in autonomous hypothesis generation.
Read-first 评分解释
综合优先阅读分 29.3，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 67。
研究版图角色
前沿论文
排序敏感性
稳定性：volatile；排名波动范围：57。
关键词评分
深度分析
创新点
- 提出 LongChang，一个自动化框架，通过创建物理法则被改变的模拟世界来评估 LLM 驱动的科学发现。
- 让 LLM 充当探索者，在没有预设研究任务或关于被改变法则的提示的情况下，自主提出并研究自己的问题。
- 使用独立的 LLM 智能体生成和审查场景、审查工具设计，并根据被改变的物理法则和探索记录评估报告的正确性与实验支撑性。
- 利用探索记录引导场景演化以进行进一步调查，从而无需人工干预即可闭环探索循环。
方法
LongChang 创建了一个或多个物理法则与常规物理不同的模拟世界。被评估的 LLM 充当探索者，操控物体并构建工具来研究自己的问题；同时，独立的 LLM 智能体生成和审查场景、审查工具设计，并使用被改变的法则和探索记录评估报告。探索记录引导场景演化，使整个循环在 12 个 LLM 上无需人工干预即可运行。
关键结果
在 12 个被评估的 LLM 中，GPT-6-Astra 的发现率达到 16.7%，其余 11 个 LLM 均为 0%。探索记录显示了未被研究的异常现象，且被改变的物理法则仅得到部分识别。
局限性
- 12 个 LLM 中仅 1 个取得了发现，其余 11 个均为 0%。
- 即使表现最好的模型，发现率也只有 16.7%。
- 探索记录显示存在未被研究的异常现象。
- 模型仅部分识别出被改变的物理法则。
技术栈
LongChangLLM agentssimulated altered-physics worldsautomated tool design and review