固态物理启发的LLM压缩的预注册测试：小语言模型规模下的聚类级阴性结果
TLDR
自主研究代理预注册并测试五种固态物理启发的LLM压缩方法，结果多为阴性，否证了科恩近视行为。
评分理由
The paper's strengths include rigorous pre-registration, explicit falsification criteria, and honest reporting of negative results across multiple compression mappings. Weaknesses are the small-language-model scale, many shelved or falsified pilots, and limited evidence for any positive compression outcome.
Read-first 评分解释
综合优先阅读分 63.2，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 73。
研究版图角色
排序敏感性
稳定性：volatile；排名波动范围：35。
关键词评分
深度分析
创新点
- 为自主LLM压缩研究引入预注册+3-σ门+聚类框架+仅追加目录纪律，并在试点数据之前将预测提交到git。
- 在面积律/科恩近视锚点下，系统测试了五种受固态物理启发的压缩映射，按距离面（P001 Wannier、P002 tight-binding）和秩面（P003 DMRG截断MLP、P005 Wilson-RG、P011 tensor-train嵌入）组织。
- 在小语言模型规模下提供了四个预注册阴性结果，并完整发布数据。
- 在测试规模上，经验结果反转了预注册的注意力头科恩近视绝缘体预测，转而指向临界、玻璃态或重尾区。
- 聚类级阴性结果目录，报告十八项已完成研究，其中十七项为阴性。
方法
为期三个月的自主研究代理程序在预训练语言模型上测试了五种受固态物理启发的压缩映射；预测在试点数据之前提交到git，并以3-σ门决定PASS或SHELVE。研究使用了GPT-2-medium和Pythia-160M等模型，指标包括困惑度、稀疏度和相关性，基线包括PCA、random-Haar和identity。
关键结果
P005在第一阶段被先发搁置，四个第三阶段试点中有三个被证伪；在GPT-2-medium上紧束缚截断造成+96%困惑度增加，Pythia-160M上的Wannier稀疏度（0.054 ± 0.004）与PCA、random-Haar和identity基线不可区分，tensor-train键维数不追踪surprisal（r = 0.016，预注册值为0.65）且导致膨胀而非压缩。排除探针填充后，注意力-距离关系在16个中位层头中的12个中最佳拟合为拉伸指数；P003结果混合，缩放r = -0.434被搁置，MPO前提在阶段0失败，跨论文r = 0.523经修正后坍缩至0.047，在测试规模上反转了绝缘体预测，而秩面无增益结果在7-8B规模仍成立。
局限性
- 科恩近视绝缘体预测的反转仅特定于所测试的约350M规模。
- 执行门被设计但未部署。
- 大多数发现是在小语言模型规模上的阴性结果，因此在所测试模型和规模之外的普适性尚未确立。
- P003结果混合而非干净证伪，缩放主张被搁置，MPO前提在阶段0失败。
- 注意力-距离的拉伸指数结果依赖于排除探针填充，表明对探针/分词伪影敏感。
- 秩面无增益结果在7-8B规模仍成立，但其他结果在更小模型规模获得。