机器人误触防熊喷雾24人住院？这个网站收集AI‘翻车’案例，所有‘罪证’都不放过

作者|王烨  来源|大数据文摘(ID：BigDataDigest)

还记得特斯拉自动驾驶事故吗？

还记得人脸识别种族歧视吗？

AI设计初衷本是造福人类，但是却因技术或人为原因而经常“翻车”，有些“翻车”可能只是闹个笑话，有些“翻车”却可能夺走无辜人的生命。

不止AI，许多技术刚出现时都是如此，而人们应对这类问题的方式也很简单——收集尽可能多的“翻车”数据，建立“翻车”数据集，以警示后人的研究。

如今，AI “翻车”数据集网站也被建立起来，名为 AIID（AI 事故数据库，AI Incident Database），网址如下：

https://incidentdatabase.ai/

亚马逊机器人误触“防熊喷雾”太傻了吧？

目前AIID数据库已经收集了78份AI事故记录，并有超过1000份关于这些记录的报道，其中，比较多的是自动驾驶、人脸识别、机器人等相关内容。

从目前的列表来看，谷歌、亚马逊、Facebook等大型企业在列表中频频出现，比如亚马逊著名的机器人误触防熊喷雾罐误伤24名员工的事件。

从相关报道的数量可以看出来，这个机器人与驱熊喷雾事件当时很火。

文摘菌心想，发生甚么事了？

哦，原来是在2018年12月6日，亚马逊在新泽西州的一个仓库中，一个机器人不小心将一瓶驱熊喷雾扎破，致使24名亚马逊员工受伤，当场就被送往医院。

据了解，事故的原因是“一台自动化机器意外刺穿了一个9盎司重的驱熊喷雾罐，释放出浓缩的喷雾”，驱熊喷雾的主要成分是辣椒素。

事后，24名员工并无大碍，很快出了院。

但是Incident 3的受害者就没有那么幸运了，2018年10月29日，Lion Air的一架波音737max在升空后，飞机上的防失速飞行控制系统把机头向下推了26次，尽管飞行员对每次机头朝下的动作都会再次拉起机头，但最后系统还是把飞机以每小时500多英里的速度带向大海。

在这场空难中，189人失去了生命。

最新案例：算法阻止学生进入大学

Incident 78是目前AIID的最新案例。

因为疫情的影响，美国IB（International Baccalaureate）项目取消了考试，改用算法预测学生的最终成绩，算法根据的是学生以往的成绩和表现。

这个成绩将决定许多美国学生是否能被大学录取和成功获取奖学金，很多学生、家长和老师都认为这些预测是错误的。他们说，许多学生得到了很难相信的低分。

超过15000名家长、学生和教师在网上签名请愿，要求 IB“采用不同的评分方法，使评分更加公平。”

但是IB拒绝回答有关其系统的问题，但表示已经对比了过去五年的结果，失望的学生可以使用现有的上诉程序，这需要付费。该基金会发布的统计摘要显示，今年的平均分数略高于去年，而且成绩分布也与去年类似。

所学校的数学老师说，IB 应该向外界透露其模型的全部运作情况，以供审查。他和一个拥有数学博士学位的同事一直对这个设计感到困惑，因为有几个学生因为得到的成绩远远低于他们老师的预期而失去了奖学金。

已开发APP，需要更多案例

在收集完第一阶段的78个案例后，Sean McGregor 开发了一个 Discover APP，既可以支持对第1阶段收集的超过1k的报告进行索引和清理，也能进行搜索。

比如一个作人脸识别的公司想知道以前人脸识别出过什么问题，就可以搜索“facial report”来查询数据库收录的以往在人脸识别领域AI“翻过的车”。

很显然，目前的“翻车”合集肯定不能涵盖全球所有的AI事故，因此，网站也号召所有从业人员提交其他事故报告。

报告的事故需要满足两个条件：

其中涉及一个可识别的智能系统

真正的伤害确实或可能合理地来自于已确定的行为、决定或事件

具体来说，你可以通过APP单个添加或者批量添加你了解的AI事故，包括“题目”、“报道”、“日期”等信息。

目前，AIID 由人工智能合作伙伴组织(PAI)管理，其维护资金来源于XPRIZE 基金会（PAI 合作伙伴）。

编者按：本文转载自微信公众号：大数据文摘(ID：BigDataDigest)