顶级机构学者集体在《自然》发文 指责AI领域研究透明度不够

黄琨

AI

一群科学家近日在国际顶刊《自然》发文,公开向另一群科学家发难,要求改革行业现状。

多伦多大学、斯坦福大学、约翰·霍普金斯大学、哈佛公共卫生学院、麻省理工学院等机构的科学家们表示,要求AI领域研究人员提供更高的透明度,呼吁他们在出版物中分享代码、模型和计算环境。

玛格丽特公主癌症中心高级科学家、文章一作本杰明·凯恩斯(Benjamin Haibe-Kains)博士说:“科学的进步取决于科研人员仔细学习研究结果和复现重要发现的能力,但在计算研究中,AI研究的细节是否完全可访问缺乏普遍的标准。这不利于我们的进步。”

事件起源于今年1月斯科特·麦金尼(Scott Mayer McKinney)等人在《科学》上发表的一份谷歌健康研究报告。报告称,AI系统在乳腺癌筛查的鲁棒性和速度上都能超过人类放射科医生,然而整个领域研究的不透明耽误了科学进步,阻碍了救命技术的发展。

这份报告不仅在科学界掀起波澜,也并在公众中引起轰动,BBC新闻、CBC、CNBC都出现了头条新闻。

此后,关于这方面更多更仔细的研究引起更多担忧:研究缺乏对所用方法的充分描述,包括它们的代码和模型。由于缺乏透明度,研究人员无法确切了解该模型的工作原理以及如何将其应用于自己的机构。

“从纸面和理论上看,麦金尼等人的研究是美丽的,”凯恩斯博士说,“但是如果我们不能从中学习,那么它就没有什么科学价值。”

凯恩斯博士解释说:“研究人员更愿意发表他们的发现,而不是花时间和资源确保他们的研究能够被复制。期刊也更容易受到AI火热的影响,可能会降低接受论文的标准,这些论文不包括使研究具有可复制性所需的所有材料——这常常与它们自己的指导方针相矛盾。”

这实际上会减缓AI模型转化为临床应用技术的速度。研究人员无法了解模型的工作原理,也无法在深思熟虑后成功将其复制。在某些情况下,它反而可能会导致不必要的临床试验,因为一个适用于一组患者或一个机构的模型可能不适用于另一组患者。

在这篇题为《人工智能的透明度和再现性》的文章中,作者提供了许多框架和平台,设想了更安全有效的共享,以支持开放科学的三大支柱,使人工智能研究更加透明和可复制:共享数据、共享计算机代码和共享预测模型。

“我们对AI对癌症患者的效用寄予厚望,”凯恩斯博士说,“分享和利用我们的发现——这才是真正的科学影响。”

译/前瞻经济学人APP资讯组

参考资料:

[1]https://www.sciencedaily.com/releases/2020/10/201014114606.htm

[2]https://www.nature.com/articles/s41586-020-2766-y

可行性研究报告

广告、内容合作请点这里:寻求合作

咨询·服务

相关阅读

精彩推荐