斯坦福法学院一项研究显示,法学教授在盲评中更偏爱 AI 生成的答案而非同行回答,AI 赢得 75% 的对决,且仅 3.5% 被认为对教学有害(同行回答为 12%)。
斯坦福法学院研究:AI 答案获教授 75% 偏爱,远超同行回答
斯坦福法学院教授 Julian Nyarko 主导的一项研究发现,法学教授在盲评中显著更偏爱 AI 生成的答案,而非其他教授撰写的回答。研究涉及 16 名美国法学院教授,对近 3000 组匿名对比进行评估,AI 在 75% 的正面交锋中胜出。AI 被标记为“对教学有害”的比例仅为 3.5%,而同行回答高达 12%。
该研究名为“Law Professors Prefer AI Over Peer Answers”,测试了大语言模型在合同法课程中担任助教的潜力。与以往侧重“对错分明”学科的 AI 评估不同,法律推理要求权衡对立论点、处理模糊性。研究者准备了 40 道典型学生课后问题,教授本人作答后,再盲评 AI 或同行的答案。AI 的表现与研究中最佳人类教师相当。
“我们惊讶于结果的大小,”Nyarko 说,“许多问题需要综合复杂材料、适用新情境,并以帮助学生发展分析技能的方式解释法律概念。”研究团队采取了严格校准措施,确保 AI 答案长度和结构与人类答案匹配。共同作者、耶鲁法学院教授 Sarath Sanga 表示:“在大多数测试 AI 的领域,存在正确答案;但在法律中,两个对立论点都可能很好。我们发现 AI 能符合律师相互评判的潜在专业标准。”
该研究对法律教育影响深远。斯坦福法学院 Legal Innovation through Frontier Technology Lab 的研究员、第一作者 Alejandro Salinas 强调:“我们的研究将注意力转向 AI 辅导在判断密集型领域(如法律)中的学习贡献。”
原文链接:https://law.stanford.edu/press/ai-outperforms-law-professors-in-stanford-law-study/