新智元报道 哈佛拿出了能找到的最强人类审稿团，结果被Claude全线碾压！ 同一批124篇论文，两边各写一份审稿意见。 七个审稿维度比下来，人类一项都没赢。 3位知名期刊的前编辑被请来盲选， 30次里有26次挑了Claude 。有一位编辑，10组意见里一次都没选人类。 3位前编辑各比10组匿名意见，只看审稿意见，没有重读论文 就连学术圈最怕的「AI胡说」，这回也反转了。 研究者把意见拿回原稿逐句对照，结果发现，人类专家说错的比例，竟然接近Claude的3倍之多。 这项出自哈佛校级教授、定量社会科学研究所所长Gary King，和同所的数据科学主任Steven Worthington的研究，标题毫不客气—— AI 审稿已经压过了状态最好时的人类同行评审 。 两人在论文里承认，动手之前，他们只指望AI能在一些方面、一些时候赢。结果， AI在他们能想到的每一项指标上都占了上风 。 沃顿商学院教授Ethan Mollick看完立刻转发，催学术界赶快想清楚，科学研究要怎么跟着AI改。 哈佛摆下擂台，付费专家对阵联网Claude 既然要比，那就得找最强的人类来比。 期刊审稿的毛病，做过研究的人都领教过。审稿人大多没有报酬，时间又紧， 有人读到第3页抓住一个硬伤，后面就不看了 。 所以King团队找的是rapidPeer，哈佛定量社会科学研究所做的「投稿前预审」服务，后来也开放给了其他几家机构。 这里的审稿人由领域专家从外校挑出来，每审一篇都有报酬，审得好，下次还有活干。 他们要读完整篇论文，写出1.5到2页意见，只管帮作者把论文改好，不用判断该不该发表。 效果也确实好。74位作者回了问卷， 88%认为审稿质量高或很高 。 几位知名期刊的前编辑看过这些意见，也说属于他们见过最好的那一档。 两位作者甚至写道，据他们所知， 没有哪批人类审稿是在比这更好的条件下写出来的 。 研究用上了这项服务2019到2026年的全部有效投稿，一共124篇论文、134份人类意见，从统计分析、数学建模到纯定性研究都有。 Claude这边，上场的是Opus 4.8，推理开到最高档。 它分两个身份参赛。一个和人类完全对等，拿同一份13条审稿指南，不许用任何外部工具。 另一个是调优版，有专门写的审稿提示词，还能上网，平均每篇搜12.4次。 这份提示词，读起来像一位严格导师的叮嘱。 它要Claude把全文和图表读透，主动去搜作者漏掉的前人研究。 每篇引用都得真搜到、附上链接，不许凭记忆引 。 它还要Claude分清哪些问题撑着整篇论文，先讲最要紧的两三个，不许客套，也不许凑字数。 裁判是另一家公司的GPT-5.5。两份意见去掉格式和出处，调换顺序各比一次， 两次都选同一份才算赢 。 除了比整体，它还要在七个维度上逐项比较，并给每份意见打0到10分。 GPT-5.5当裁判，Claude七局全胜 结果出来，两位作者的评价是「毫不含糊」。 比整体时， GPT-5.5没有一次判人类赢 ， 所有分出胜负的对比都归了Claude。 拆到七个维度， Claude在找弱点、评方法、补文献三项上全胜 。图表赢了99%，理论与想法、论证框架、表达也各赢了92%。 左为成对比较中AI的胜率，右为0到10分的平均评分 打分上， Claude平均8.7分，人类6.0分 。 拉开最大差距的两项，恰好是审稿时最费功夫的两项。 补文献一项，人类专家4.73分，联网的Claude是9.55分。 不让它上网时，它在这一项只赢下62%，开了搜索才变成全胜 。 图表一项， 人类平均只有2.95分 ，Claude是7.57分，不少意见对图表只字未提。 浅灰为人类专家、黑色为Claude，横轴为0到10分 还有个细节耐人寻味。三位前编辑彼此判断一致的比例是80%，他们和GPT-5.5的一致率反而有87%。 也就是说， 人类编辑跟这位AI裁判的看法，比跟自己的同行还要一致 。 给人类换上AI文风再比 照样一组没赢 这么悬殊的比分，第一反应往往是怀疑实验本身。 两位作者自己先当了一回杠精， 一口气做了十类稳健性检查 。 头一个怀疑，是AI靠篇幅取胜。研究者只留下字数相近的44组， Claude照样44组全胜 。 接着有人会说，GPT-5.5偏爱AI的腔调。 于是研究者让Claude把134份人类意见全部改写成AI口吻，论点一个不动。 换了腔调的人类意见，还是一组都没赢回来 ，平均分反倒从5.93分掉到了5.87分。 也有人会说，人类样本里混进了水平一般的。 研究者就只看评分前40%的人类意见，再挑出和AI最接近的28组。 人类依然一组没赢，分数最高的那份，也比AI低0.7分 。 还有人担心，Claude训练时见过这些论文后来发表的版本。 可按投稿年份一拆，不联网的Claude在2022年及以前的老论文上拿8.2分，在2
留言框-
