查看原文
其他

没有同行评议的 arXiv 如何识别伪科学?

KATE BECKER 返朴 2023-02-25

点击上方蓝字“返朴”关注我们,查看更多历史文章

arXiv 重塑了科学的大门——将门推得更开——但总有人要被困在门外。


撰文 | KATE BECKER翻译 | 金庄维审校 | 赵维杰


xxx.lanl.gov,这个网址散发着诱人的神秘气息——似乎和政府机密相关,或许还不止。


然而事实却恰恰相反:它由洛斯阿拉莫斯国家实验室进行管理(的确是政府机构!,是个开放存取的预印本大仓库。学术论文的开放存取兴起于上世纪90年代,至今仍在改变着学术出版业。


这个网站其实就是 arXiv(读作“archive”):原网站早已被转移到了大家熟知的新地址:arXiv.org,并由康奈尔大学图书馆负责管理。arXiv 上有大量的论文预印本,它们是尚未经过同行评议的论文草稿,或是不打算发表在期刊上的文章。当然,论文在发表后也能以修订版的形式出现在 arXiv 上。截至2019年10月,网站上的预印本数量超过160万篇,主要集中在硬科学方向:数学、计算机科学、定量生物学、计量金融学、统计学,以及最主要的,物理学。


arXiv 之父

物理学家 Paul Ginsparg 于1991年创建了arXiv,当时他只希望收录约100篇科研论文。然而随着投稿如洪水般涌来,他只好求助于计算机程序,对文章进行半自动化处理。为了学习编程,他参加了十几场机器学习研讨会。Ginsparg 现在是康奈尔大学物理学与信息科学教授。


arXiv 是30多年前的科学家梦寐以求的文库:全库检索、随时随地都可访问、免费发表和阅读、包含几乎所有经典论文。在今天这个我们可以一边在星巴克排队,一边在维基百科上查阅原子理论发展史的科技黄金时代,arXiv 的出现或许会显得稀松平常,然而事实上,这是一场不折不扣的革命。


诚然,arXiv 使学术界受益良多,但鲜为人知的是,它必须回答一个适用于所有学科的棘手哲学问题:哪些文章值得读?什么是科学?


arXiv 出现之前,预印本只在小型学术圈中通过人工或者邮件分发。论文得过上几个月才能正式发表在学术期刊上,而这些期刊只能在大学图书馆找到。arXiv 使这个“竞技场”民主化:无论是顶尖大学德高望重的教授、不知名机构日夜奔忙的博士后,还是发展中国家缺乏资助的学者,你的新想法都可以被其他研究者立即看到。
Paul Ginsparg 于1991年创建了 arXiv,那年他35岁,是洛斯阿拉莫斯的物理学家。他起初只是想把大约100篇论文分享给几百位电子邮件订阅者。但到1992年夏天,他收到了1200多篇论文投稿,可谓喜忧参半!Ginsparg 并不打算仔细审阅所有论文,但他希望每位读者都能找到最感兴趣的文章。所以他开始将这些论文分门别类,并且召集到越来越多的审稿人,他们都是为学术界服务的志愿者。


这些是科学吗?


arXiv 的宗旨是收录的论文应该“让研究人员感兴趣、与学科相关并且有价值”。随着网站规模和知名度越来越大,arXiv 开始吸引学术圈外的文章,但是这些文章大多不满足要求。它们压根就不是科学,连伪科学也算不上(伪科学尚可被检验并驳倒)——它们高调地宣称推翻了爱因斯坦、牛顿和霍金的理论,发现了物理和超能力、UFO 之间隐蔽的关联,而文章中几乎没有数学推理和实验依据。


arXiv 的默认立场是接收所有文章。Ginsparg 表示,论文也遵循无罪推定原则。但是浏览这些不科学的论文会浪费研究人员的时间。另外,arXiv 的读者中有越来越多的记者和政策制定者,真假论文“共处一室”会引起他们的困惑。因此,审稿人必须对每篇文章做出判断:这些是科学吗?


大多数 arXiv 用户对审稿人的判断感到满意,但也有人抱怨论文被扔在一旁,特别是处在学术边缘的一些研究人员会控诉 arXiv 的审稿人忽视非主流想法。
arXiv 审稿人面对的不是个新问题。早在1959年,科学哲学家 Thomas Kuhn 就把这个问题概括为“必要的张力”:传统学术界限和自由研究之间的冲突。Kuhn 认为,科学要想前进,两者缺一不可。但如果新颖的想法常在不同学科的夹缝中产生,无法归类的靠谱论文又是否会被误判为假论文?


arXiv 的审稿人可没那么多时间进行 Kuhn 式的反思。很多读者每天都刷 arXiv,网站希望他们总能看到最新的文章。所以 arXiv 从一开始就强制实行“24小时更新”原则:每个工作日下午4点(美国东部时间,相当于北京时间第二天早上5点)前收到的论文一般在当晚8点(北京时间第二天上午9点)上线。审稿人得在不到一天的时间内决定每篇文章的命运:拒绝还是有待进一步审查。


Ginsparg 注意到了这种忙碌的日常工作,他想到可以利用计算机程序协助处理大量投稿,让志愿者轻松些。


真科学确实会被误判


Ginsparg 最初的目的很简单:设计一种算法,将论文按学科分类,为审稿人省去浏览误投稿件的麻烦——有些稿件会在提交时被错误分类。几个小时后,新程序就诞生了,它能接收一篇新文章,提取关键词,统计每个词出现的次数,通过“学习”过去人工的分类方式对新论文进行分类。Ginsparg 没有预先设置关键词表,而是通过算法做出最佳选择。因为审稿人会对每个分类进行检查,算法能够得到即时回馈,并且逐步完善,实现每天对几百篇投稿逐篇处理。


然而他没有想到,这种分类方法有个神奇的“附加属性”:它能区分出“好”论文和“坏”论文!arXiv 意外地将“必要的张力”付诸了实践,它是如何做到的?


审查了成千上万篇文章之后,分类算法掌握了真科学的信号:语言。通过学习科学语言,程序可以用与审稿人类似的方式对文章进行判断。被拒绝的论文不符合科学语言规范:偏离可能非常明显,例如把不同学科的内容胡乱拼凑在一起;也可能不易察觉,像“ or ”、“ it ”和“ that ”之类无意义词的错误分布。


学术编辑、审稿人和科研人员在判断论文好坏时早已关注到了语言问题。卡迪夫大学的科学社会学家 Luis Reyes-Galindo 表示,arXiv 反映了学术界的特性,将学界内外区分开来。


伪科学也有其特定的语言风格。加州大学河滨分校的数学物理学家 John Baez 设计了“民科指标”,将文章按37个“民科特征”进行打分:全部大写的单词每个给5分,宣称工作“处在‘范式转移’最前沿”给10分,宣称有个“革命性理论但没给出具体的可检验预言”给50分。当然,最后一项和语言关系不大。




无罪推定。arXiv 的创建者 Paul Ginsparg 对大量涌入的文章采取这种态度。截图显示2016年10月,仅天体物理方向 arXiv 就接收了1058篇论文。而每年只有不到1%的文章因为伪科学被拒。


语言能够分辨论文好坏是有原因的。受过正式科学训练(包括4年大学,更长时间的研究生和博士后)的作者不仅掌握了一些基本事实、思考和实验的方法,还学会了特定的交流方式。“成为科学家的关键在于科学语言:知道如何表达、演讲。” Reyes-Galindo 说道。


arXiv 不会自动拒绝被算法判为“异常”的文章:它们被做上标记,等待进一步的人工审查。作为人类智慧成果的承载者,科学应当由内容而非风格进行衡量,所以有人争论说,通过词汇识别外行并将他们拒之门外的做法不够稳妥。举例来讲,成绩蜚然的交叉学科研究人员怎么办?


“早在互联网出现之前,我们就看到过奇怪的非主流工作。”麻省理工物理学家 David Kaiser 说,“但它们中的一些的确是沙子里的黄金。”现在很多习以为常的物理定律在当时看来简直不可思议:日心说、场能够传递相互作用、数学公式描述的物理定律等等。现代量子理论中有些不可或缺的研究在上世纪70年代根本不受待见:晦涩难懂,像是磕药后的胡言乱语。


Kaiser 在2011年出版的新书《嬉皮士如何拯救了物理学》中写道:“很多现在占据量子信息科学核心地位的想法诞生于反主流文化运动。这个运动中还有汤匙弯折心灵感应、东方神秘主义、LSD 致幻之旅、中情局灵魂追梦、‘水瓶时代’狂热等稀奇古怪的‘探索’。”为量子计算、量子加密和量子隐形传输奠定基础的物理学家采用的方法并不时髦,并且处于学术边缘,但时间证明了它们的价值。“我很怀疑早期那些丰富多彩的想法能否被 arXiv 接收。” Kaiser 说道。


现在也一样,靠谱(至少不是离经叛道)的想法确实偶尔会被 arXiv 误判。“在我熟知的领域内就有三个例子:专业的物理学家,包括声誉良好的教授的论文被拒之门外或标记审查。”圆周理论物理研究所的物理学家 Lee Smolin 说。


审稿人的判断


很多据理力争才使论文出现在 arXiv 上的研究人员不愿谈起伤心往事,他们担心被拉入黑名单。日内瓦大学的资深物理学家 Nicolas Gisin 却是个例外,他在2015年12月公开为两位学生申冤。他们向 arXiv 提交了一篇关于黑洞的文章,结论不同寻常:物质不可能掉进黑洞。同时,这两名作者并不属于黑洞研究的学者圈。但是 Gisin 觉得他们的计算非常清楚,逻辑也很清晰。“我很欣赏他们的勇气,敢于逾越物理学不同研究方向间的壁垒。”他在维也纳量子光学和量子信息研究所的博客上写道。


苦等几个月后——在 arXiv 快速更新的世界里这简直就是永恒——论文被拒了。系统标记了论文,随后审稿人把文章毙掉。这两名学生的第二篇论文同样被拒,但这回快多了,Gisin 认为他们上了黑名单。


Ginsparg 否认 arXiv 有黑名单。他并未参与 Gisin 学生的文章审查,但在读过他们的文章后,他觉得里面存在基本错误。发表于 EMBO 期刊上的一篇关于 arXiv 的文章中,Ginsparg 提到了这件事,他表示,arXiv 的审稿人为鲁莽的研究生避免了不必要的尴尬。


Ginsparg 解释道,arXiv 的自动筛选系统可能标记曾经投稿被拒的用户,也会拒绝用别名再次提交的被拒论文。arXiv 还为用户提供申诉流程:作者可以要求被拒文章由原先的审稿人重审,如果再次被拒,作者还可以要求由仲裁审稿人进行第三轮审查。如果被拒论文随后被同行评议的期刊接收,arXiv 也会重新接收这篇论文。但是 Gisin 的学生没有申诉,论文最终被 Physics Letters A 接收后也没再放到 arXiv 上。


尽管偶尔引起争议,arXiv 的标准还是相当宽容的。Ginsparg 表示,去年只有不到1%的投稿由于内容问题被拒,而且很多像 Gisin 一样的批评者仍然是网站的忠实用户。


但是 arXiv 的处理程序仍然不够透明。“arXiv 对投稿者的人身保护不够。” Kaiser 说道。审稿人拒绝论文时只会按照 arXiv 的标准模板发送拒信,没有更多具体的解释。“被拒后的申诉过程也令人失望,”Smolin 说道,“根据我所了解的几个例子,他们的申诉流程不够完善,也没有遵循最专业的做法,这与 arXiv 在物理界的重要地位并不相称。”


在接收和拒绝之间,还存在一个中间选项:存疑论文被归类到“general physics”(“gen-ph”)中。说得好听点,gen-ph 收容了无法与其他类别完全匹配的论文;说得难听点,这就是个垃圾场。总之,审稿人可以借此躲避拒稿带来的纠纷。但是对于很多作者而言,被发配到 gen-ph 和被直接拒绝一样让人难堪。有个研究人员告诉 Reyes-Galindo,把他的论文分类到 gen-ph 中就像是在故意降低文章的影响力。不过 gen-ph 只占 arXiv 的一小部分:从2014年7月到2015年6月,arXiv 接收了超过10万篇论文,其中只有302篇被发配到 gen-ph。


对于 arXiv 的失望催生了另一个预印本网站:viXra。这个新网站由英格兰独立物理学家 Philip Gibbs 创建。每个人都可以在 viXra 上贴东西,但是网站禁止“粗俗、诽谤、抄袭和危险导向”的内容。有些人能在这里找到论文的容身之所,对他们而言,viXra 是知识的避难所。但在学术界的很多人眼里,viXra 更像错位玩具岛:古怪和破旧玩具的流放地。(对于 viXra,Ginsparg 讥讽道:“这个网站太棒了!下一回再有人问为什么 arXiv 需要筛选机制时,我们就向他们推荐 viXra。”)Gibbs 在 viXra 的博客上发表了包含17部分的回顾文章“正确的民科”,他认为 viXra 作为历史档案,保留了走在时代之前的想法的雏形,也许这些想法能在将来得到承认。


何谓科学?大家往往认为这是互联网带来的新问题。但 Kaiser 认为 arXiv 正在试图解决的是古老问题——“必要的张力”的放大版。长久以来,学者总是抱怨:需要一种工具来帮助人们规范出值得关注的科学范围。arXiv 重塑了科学的大门——将门推得更开——但总有人要被困在门外。


本文来自微信公众号“领研网”。如需转载,请联系contact@linkresearcher.com,或通过公众号菜单与我们取得联系。戳“阅读原文”可查看原文。


特 别 提 示

1. 进入『返朴』微信公众号底部菜单“精品专栏“,可查阅不同主题系列科普文章。

2. 『返朴』提供按月检索文章功能。关注公众号,回复四位数组成的年份+月份,如“1903”,可获取2019年3月的文章索引,以此类推。



相关阅读

1  同行评议背后的故事:让论文投稿出版不再神秘

2  拒稿:生命不能承受之痛 | 发表论文那些事儿

3  沟通:让论文发表更顺畅 | 发表论文那些事儿


近期热门

1  97岁化学诺奖得主每周工作50小时,错过诺奖电话因为在领另一个大奖!

2  专访新科物理学新视野奖得主,Caltech物理学家陈谐

3  黄昆给杨振宁的一封信:物理研究大多时间是做日常工作——纪念黄昆先生100诞辰

4  是时候打破复合维生素的神话了 | 117三人行

5  贸易战没压垮中国,数学教育的下滑会导致灾难 ——失数学者失天下


↓↓↓长按下方图片关注「返朴」,查看更多历史文章

点“在看”,分享给朋友吧!

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存