社会科学研究设计追踪与评估

数据集分析

对社会科学中因果研究设计的可靠评估对于循证政策制定至关重要，但迄今为止完全依赖人工专家分析。我们提出了自动研究设计追踪与评估（ARDTrA），该任务涉及检测论文中使用的研究设计并评估其应用质量。我们创建了一个由专家标注的论文数据集，涵盖六类反事实研究设计，并使用基于RAG的多轮对话流水线对该任务进行评估。在四种检索策略、四种LLM和六种嵌入模型的实验下，我们发现段落长度是性能的主要驱动因素，解释了52%-66%的方差。按研究设计进行的分析还表明，人类与机器的难度并不一致：系统最难处理的设计并非专家标注者分歧最大的设计，这表明任务难度存在两个独立的来源。