亚马逊图像识别系统Rekognition引担忧 算法偏见问题亟待解决

昨天，亚马逊低调的图像识别Rekognition计划公开了，因为北加州ACLU获得的新文件显示，该图像识别系统与奥兰多市以及摩托罗拉解决方案等警察摄像机厂商合作开展了一项积极的新型实时面部识别服务。亚马逊坚持认为，该服务是一个简单的对象识别工具，仅用于法律目的。即使我们认真听取了公司的意见，但该项目也引发了严重的担忧，特别是在种族偏见方面。

长期以来，面部识别系统一直面临着女性和有色人种错误率的问题——错误率可以直接转化为更多边缘化群体受到阻碍和逮捕。虽然一些公司已经做出了公开的偏见测试，但亚马逊在这个问题上并没有分享任何数据，如果它收集了数据的话。与此同时，亚马逊已经在美国各地的城市部署了自己的软件，其增长是由世界上最大的云基础设施之一推动的。对于任何担心算法偏差的人来说，这是一个可怕的想法。

图片来源：James Bareham / The Verge

对于此前报道的美国公民自由联盟(ACLU)的Matt Cagle而言，潜在偏见是系统最大的问题之一。 “我们对亚马逊显然未能理解其产品对真实人群的影响感到震惊。”Cagle说，“人脸识别是一项有偏见的技术。它不会让社区更安全。它只是更大的歧视性监督和警务。”

最具体的问题是虚假识别。警方通常使用面部识别来寻找特定嫌犯，将嫌疑人的照片与相机所拍到的或照片阵列进行比较。但是比起黑人受试者，白人受试者一般不太可能产生错误匹配，这在许多算法中都存在偏差。用最基本的术语来说，这意味着面部识别系统对非白种人构成了额外的错误指责和逮捕威胁。这种偏见似乎来自用于训练算法的数据，这些数据通常会扭曲白人和男人。有可能解决这个问题，但是没有公开的证据表明亚马逊正在处理这个问题。

到目前为止，Rekognition没有共享数据，这不是一个好兆头。该项目拥有广泛的开发者文档，涵盖从泳衣检测到名人隐私请求的所有内容，但没有任何关于种族偏见的可能性。昨天ACLU的报告公之于众后，The Verge作者直接向亚马逊询问公司是否有任何有关Rekognition的偏差测试数据，但迄今为止没有任何结果。

这是一个明显的疏忽，部分原因是公共测试在其他面部识别公司中相对普遍。一年多以来，数十家公司一直在公开测量其系统，作为政府项目“面部识别供应商测试”(FRVT)的一部分。由美国国家标准与技术研究院运行，FRVT是我们拥有的算法偏见最系统的研究之一。供应商提交算法，NIST通过一组受控测试运行它们，尽可能少地扭曲报告结果。

结果报告可以展示60种不同算法在错误率方面的种族和性别差异。如下图所示：

这基本上是偏见的样子。线越高，错误率越高。所以任何地方的红线都比蓝线高，你会发现行动中存在种族偏见。无论哪条线都比虚线高，你会看到性别偏见。 (从技术上讲，X轴和Y轴是正负误报率，但本质上，越高越糟糕。)纵观图表，你可以看到偏见是一个行业范围的问题，但它也是一个可以解决的问题。来自NEC和Tongyi Trans的最佳算法几乎没有显示任何线条之间的差距，这大概是因为公司通过训练数据集直到它们解决问题。

关于这张图表的另一件重要的事情是：亚马逊不在其上。 FRVT是一个严格意义上的自愿程序，面向联邦承包商，试图给人留下好印象，所以亚马逊不在名单上也就不足为奇了。不过，还是值得考虑的。你可以申请商业机密，但是已经有60个算法在排名之中，很难说参与这种测试的惩罚有多少。但如果没有外部力量强迫亚马逊，那么它就没有理由走这一程序。

我们经常谈论算法偏见，就好像它是邪恶的巫术一样，但在这些术语中，问题很简单。亚马逊和类似的公司需要在这些系统推出之前进行偏见评估。有很多方法可以做到这一点，无论是像FRVT这样的自愿行业参与，还是州级的透明度法律，这些法律在刑事司法算法中越来越流行。它可以是严格的监管或宽松的规范。但是在这样的算法被公开使用的时候，我们应该对它的工作效果和失败有一定的了解。

亚马逊庞大的云基础设施使其成为面部识别行业的一个令人望而生畏的竞争对手，其实时试点表明它已经开始超越其更加透明的竞争对手。如果你担心有偏见的算法不受控制，这是一个令人不安的想法。我们知道在这些类型的系统中，偏见是可能的，甚至是存在的。问题是：亚马逊会对此做些什么?