语言模型学会改进语言模型
TLDR
提出LM2LM，用强化学习训练语言模型提出改进提案，以冻结研究世界模型为奖励，并通过真实执行验证。
评分理由
The paper addresses cost and reliability challenges in using LLMs for automated LM research, combining surrogate rewards with periodic real executions. Strengths include a practical RL framework and multi-environment evaluation; weaknesses include reliance on a frozen reward model and focus on LM improvement rather than broader scientific discovery.
Read-first 评分解释
综合优先阅读分 52.4，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 55。
研究版图角色
排序敏感性
稳定性：volatile；排名波动范围：42。
关键词评分
深度分析
创新点
- 提出LM2LM框架，使用强化学习训练LLM生成有效的语言模型改进提案。
- 使用研究世界模型（RWM）——一个冻结的LLM——根据上下文中的真实实验记录预测提案增益，作为可扩展的替代奖励模型。
- 定期在真实环境中执行当前策略的高排名提案，并将实测结果加入RWM上下文，以在分布偏移下保持反馈可靠性。
方法
LM2LM使用强化学习训练LLM策略以提出LM改进建议；它使用冻结的RWM从真实实验记录中预测提案增益作为奖励，而不是对每个提案都运行完整的模型训练。为应对奖励模型不可靠的问题，会定期执行当前策略中排名较高的提案，并将其实测结果添加到RWM上下文中。该方法在八个自回归和扩散LM开发环境中进行了评估，并在保留任务上进行了真实执行评估。
关键结果
在八个自回归和扩散LM开发环境中，LM2LM使Qwen3.8-27B在保留任务上的真实执行评估中优于给定300条真实实验记录的GPT-6-sol，同时数据生成成本降低33%。LM2LM还能泛化到训练中未见过的模型家族。
局限性
- 使用真实反馈进行训练成本高昂：强化学习需要评估数万个提案，如果每个提案都需要完整的模型训练运行，可能消耗数十万GPU小时。
- 替代反馈可能变得不可靠，因为策略优化会在提案分布偏移时偏向被高估的提案。