澳门新葡亰app算法霸权是“大规模造福工具”还是“大规模杀伤性武器”?

澳门新葡亰app 1

我们正在进入一个“算法”的时代。它对我们生活的影响越来越大——我们去哪里上学,我是不是应该贷款买车,我们应该花多少钱来买健康保险,这些都不是由人来决定的,而是由算法、由模型来决定的。我们被告知:通过大数据的精准画像,算法可以让企业更好地识别我们的偏好,从而更好地向我们提供商品和服务。由于算法对每一个人的衡量标准是一样的,因此它可以排除很多不必要的偏见。总而言之,算法可以让整个社会的运行变得更高效、更公平、更美好。但是,在凯西·奥尼尔在新书《算法霸权》中,却告诉了我们一个完全不同的故事。在奥尼尔的故事里,算法并没有带给人们它所承诺的美好。相反,它可能破坏这个社会所赖以良好运行的基础,让它变得既不公平,也没效率。算法如何施暴?和很多算法的批判者不同,凯西·奥尼尔本人其实就是一个算法“圈内人”。她自小开始就对数学十分敏锐,在大学期间更是以数学作为专业。从哈佛大学获得博士学位后,她曾在巴纳德学院任教,后来又以数据科学家的身份辗转于金融圈和实业界,为很多知名企业提供过算法和数据方面的咨询。丰富的经历让奥尼尔得以熟谙各类算法的精髓,也对其中蕴含的危险了如指掌。由于这个原因,相比于其他同类著作,《算法霸权》对算法的批判就来得更真实,也更可信,也更富有洞见。那么,算法究竟会有哪些问题呢?首先,算法可能并没有像人们通常想象的那么准确。很多基于大数据的算法本来是用于分析整体的属性的,在这种条件下它们可以比较好地工作。正如奥尼尔在书的一开始中所举的棒球队的例子那样,通过大数据算法,球队可以大幅提升自己的成绩。但是,一旦这样的算法被应用到了评估个体上,就会马上发生问题。例如,书中提到了用算法评估教师质量的问题。由于每一个教师每年教授的学生都是有限的,因此极个别的异常点就可能导致评估结果的重大变化,这让一些优秀的教师被误判为不合格。更为重要的是,当被评判的教师了解了评判的标准时,就可能针对这些标准有意识地进行造假,从而让原本有效的算法很快失去了效力。其次,算法本身可能就蕴含着歧视性。很多算法在设计的时候只考虑了相关性,而没有考虑因果关系,这让它们在表面公正的背后,蕴含了对部分人的歧视。例如,曾经有统计表明,黑人进行犯罪的概率会更高,这个统计结果曾影响了美国司法数十年,让黑人在审判中难以得到像白人一样的权利。然而,这个判断本身其实掩盖了真正的因果关系。事实上,黑人在很多方面都难以享受到和白人同样的待遇,他们难以接受和白人一样的教育、难以找到和白人一样的工作……在很大程度上,黑人的高犯罪率正是这种不平等的结果。因此,如果以这高犯罪率为理由,对黑人进一步施加歧视,结果只可能会让他们的犯罪率进一步提升。需要指出的是,算法的歧视性很难反驳,因为它们往往会自我实现。例如,例如在上面的例子中,对黑人的歧视让他们的犯罪率更高了,这是令人沮丧的,但从表面上看,这又恰好印证了算法的预言。在这样的事实面前,我们似乎很难对算法提出质疑。再次,算法的精准也可以成为损害福利、制造不公正的工具。一个例子就是精准推送的广告。从理论上讲,精准广告是可以帮助改善人们的福利的——通过对人们特征的识别,算法可以更好地识别其个体的偏好,在此基础上的推送可以更符合他们的口味、更满足他们的要求。但这里有一个重要的问题,那就是在很多时候,人们并不知道自己真正想要什么,也不知道什么是对自己真正有用的。面对有针对性的广告,他们的决策很容易受到诱导。在书中,奥尼尔举了一个大学招生的例子。在美国,有很多“野鸡大学”,除了提供文凭,它们并不能真正为人们提供良好的教育。然而,这些“野鸡大学”却是营销的高手,借助算法,它们把客户群精准地集中在了那些收入和社会地位相对较低,但对改变现状极为迫切的人的身上。从这部分人群身上,他们收获了高昂的学费。但与此同时,那些缴纳了学费的学员却没能得到他们期待的改变。基于以上分析,奥尼尔认为,对于算法和数据,我们不应该盲目乐观,而应该持续保持警醒。

图片来源@视觉中国

澳门新葡亰app 1

文 | 脑极体

在大多数科幻电影里,冷漠又残酷是 AI
的典型形象,它们从来不会考虑什么是人情世故,既没有人性光辉的闪耀,也没有人性堕落的七宗罪。

AI自从以应用角度走进大众视野,就一直逃不出“人文主义”的苛责。作为一种依靠于海量数据运转的技术,AI之所以能够作为提升效率的工具,主要还是因为对人类经验的高度集中。

然而在现实中,人工智能技术却不像电影里那么没有「人性」,不过这可不是什么好事,因为
AI 的「歧视」和「偏见」正在成为越来越多人研究的课题,而且它们确实存在。

而“人类经验”这件事,本身就是不够完美的。普遍能够累积成海量数据的经验,有时反而更加充满偏见。就像如果把AI带入哥伦布时代,AI也会成为一位坚定的地心论支持者。

我们先来看几个例子:

而李飞飞离开谷歌回归斯坦福后,主导的第一个项目HAI——以人为本人AI研究院(Stanford
Human-Centered AI Institute),就在着重解决AI与人文主义之间的沟壑。

COMPAS
是一种在美国广泛使用的算法,通过预测罪犯再次犯罪的可能性来指导判刑,而这个算法或许是最臭名昭著的人工智能偏见。根据美国新闻机构
ProPublica 在2016 年 5 月的报道,COMPAS
算法存在明显的「偏见」。根据分析,
该系统预测的黑人被告再次犯罪的风险要远远高于白人,甚至达到了后者的两倍。

AI 拟人化,竟是一位“富裕的白人男性”?

▲ 图片来自:Medium

首先要知道的,究竟是什么让AI无法“以人为本”?

可能你在直觉中也会认识黑人的再犯率会高于白人,但这并不和实际情况相符。在算法看来,黑人的预测风险要高于实际风险,比如两年内没有再犯的黑人被错误的归类为高风险的几率是白人的两倍。

目前从人文、从公平的角度来看,AI公认的两个问题是“白人至上(White Guy
Problem)”和“男性之海(Sea of Dudes)”。

而未来两年内再次犯罪的白人被错误认为是低风险的概率同样是黑人再犯将近两倍。

所谓白人至上,是指在算法驱动下AI所做出的一些种族歧视行为。例如谷歌的图片自动分类曾经将黑人照片分类成大猩猩,以及惠普的摄像头算法无法识别深肤色的人。在犯罪预测软件中,甚至会将黑人的犯罪率识别成普通白人的两倍以上。

人工智能的偏见,早已深入了各个领域。

而男性之海,则指的是AI从业者中有极大的性别倾斜,在2015年的NIPS上,女性与会者的人数竟然只占到了13.7%,李飞飞提到,在论文引用量,男性作者的被引用次数要比女性作者高100倍。

在 AI
技术应用领域,面部识别也是一项广泛使用的应用类型,并且这会成为种族和性别偏见的另一个潜在来源。2018
年 2 月份麻省理工学院的 Joy Buolamwini 发现,IBM、微软和中国公司 Megvii
的三个最新的性别识别 AI 可以在 99%
的情况下准确从照片中识别一个人的性别,但这仅限于白人。对于女性黑人来说,这个准确率会降至
35%。

用《纽约时报》的话讲,两者结合,让AI被塑造出了一个“富裕白人男性”的价值观——刚好和那些掌握着科技霸权的企业主们一模一样。

▲ 图片来自:FPT University

如此以来,对于AI的应用很可能反而会让人们一直以来对于推动种族、性别间平等所做的努力白费。

一个最可能的解释是,AI
的「偏见」取决于背后训练算法训练的数据,如果用于训练的数据里白人男性比黑人女性更多,那显然白人男性的识别率就会更高。IBM
后来宣布他们已经采用了新的数据集并重新训练,微软也表示会采取措施提高准确性。

就像平权主义者一直在推动男女收入平等,而去年卡内基梅隆大学的计算机科学家却发现,在谷歌的广告推送机制中,更倾向于将高收入工作的招聘广告推送给男性用户。

另一个研究是 Facebook
的人工智能实验室的研究成果,他们发现人工智能的偏见不止存在于国家内部,在不同国家之间也是存在的。

而当美国各地警察部门在执行预测性警务工作时,数据驱动的风险评估工具会让他们更多的前往有色人种聚集区,无形中加重了对某一人群的偏见和标签化。

比如当被要求识别来自低收入国家的物品时,Google、微软和亚马逊这些人工智能领域大佬的物体识别算法会表现更差。

可怕的是,当女性在职场上遇到歧视时,她还可以对自己情况进行发声。而当AI驱动一切在无声中进行时,女性甚至不知道自己正在处在歧视链之中——如果从没见过这项招聘启事,女性自然不知道高收入工作更倾向于招聘男性。

研究人员对五种流行的物体识别算法进行了测试,包括 Microsoft
Azure,Clarifai、Google Cloud Vision、Amazon Rekogition 和 IBM Watson。

而当AI行业中充斥着“富裕的白人男性”时,他们自然也很难注意到算法黑箱中产生了这样的问题。最终万事万物都在人类歧视造就的规则下运行,被驱动的每一个群体却又看不清规则的真正面目。

测试的数据集包含了 117
个类别,从鞋子到肥皂到沙发以及更是各样的物品,这些来自于不同的家庭和地理位置。跨域了从布隆迪一个
27 美元月收入的贫穷家庭,到来自乌克兰月收入达到 10090 美元的富裕家庭。

十亿美金的远大目标

研究人员发现,与月收入超过 3500 美元的家庭相比,当被要求识别月收入 50
美元的家庭时,物体识别算法的误差率大约会增加
10%,在准确性的绝对差异上甚至会更大。与索马里和布基纳法索相比,算法识别来自美国产品是准确率要提升
15-20% 左右。

李飞飞在斯坦福主导的HAI项目,大概有着以下三个目标:第一是推进和发展下一代AI科学(重点在于脑科学和认知科学),第二是研究和预测AI对人类社会和生活的影响,第三是设计和实践以人为本的AI技术和应用。

▲ 图片来自:Startup Thailand

这么一看,所谓“以人为本”的说法其实挺虚的。但综合斯坦福的一些公开资料,以及李飞飞的一些讲话,我们可以大概总结出HAI究竟想做些什么。

这就是问题所在。目前的人工智能背后需要即为大量的数据去训练,尽管人工智能本身不知道「歧视」和「偏见」是什么意思,但背后数据的研究人员却会带有这样的思想,以至于在训练数据的选择上就会产生偏向性。

首先是在AI研究中引入更多样化的视角和交叉思维。

通常情况下,在创建 AI
算法的过程中会有许多工程师参与,而这些工程师通常来自高收入国家的白人家庭,他们的认知也是基于此阶级,他们教导
AI 认识世界也是如此。

最主要的,就是支持女性和有色人种进入AI研究。例如斯坦福所支持的“Black in
AI”项目,就在号召有色人种关注目前的AI研究,关注AI无形中所带来的歧视问题。

当然这并不是全部原因,在 2015 年的一项研究中显示,使用 Google
搜索「CEO」的图片,其中只有 11% 的人是女性。我知道男性 CEO 的确比女性
CEO 比例要多很多,但实际上美国有 27% 的 CEO
是女性。而匹兹堡卡内基梅隆大学的 Anupam Datta
领导的另一项研究发现,Google
的在线广告系统展示的男性高收入工作也比女性多很多。

同时还有持续追踪各个领域应用AI后所带来的影响。

Google
对此的解释是,广告客户可以制定他们的广告只向某些用户或网站展示,Google
也确实允许客户根据用户性别定位他们的广告。

初次之外,HAI还邀请了社会各界人士共同参与,如教育、工业、艺术等等领域,试图让他们一起发表意见,尤其是对技术研发者给出反馈,告诉他们AI究竟对这一领域产生了哪些影响,以权衡技术的未来走向。

另一大巨头亚马逊也曾遇到过 AI 歧视的问题。2014
年的时候亚马逊在爱丁堡成立了一个工程团队以寻求一种自动化的招聘方式。他们创建了
500 种计算机模型,通过对过去的入职员工简历进行搜索,然后得出大约 50000
个关键词。

至于推动下一代AI科学就很好理解了,主要是帮助研究者圈定研究方向,推动AI的可解释性等等,这里就不再进行赘述。

「当时他们在这个算法上寄予了很大期望,喂给它 100
份简历,然后它会自动吐出前五名,OK,我们就雇佣这些人。」当时一位消息人士是这样告诉的路透社。

但有趣的是,HAI作为一个非常政治正确并伟光正的项目,并没有在舆论获得一致性的支持。尤其有媒体指出,该机构有121位教职工,其中有100位以上都是白人,并只有30%的女性。

▲ 图片来自:Machine Learning Techub

于是事情就变成了,HAI邀请了一群富裕的白人男性,试图募集10亿美金去从人文角度矫正人工智能的“富裕白人男性”价值观。

然而一年后,工程师们有一些不安的发现——它不喜欢女性。显然这是因为人工智能所获取过去十年的数据几乎都是男性的,因此它得出了「男性更可靠」的观点,并降低了简历里包含女性字样简历的权重。

齿轮之下:如何看待商业效率以外的 AI ?

性别偏见还不是这套算法唯一的问题,它还吐出了不合格的求职者。2017
年,亚马逊放弃了该项目。

虽然HAI获得的评价不一,但AI所带来的公平性问题,确实已经开始影响人们的正常生活。

尽管人工智能的「偏见」已经成为一个普遍的问题,但有意思的是,人类又试图使用人工智能技术去纠正人类本身的偏见问题。

就像上文提到的算法错误估计有色人种犯罪率将其提升了两倍,同样意味着算法将白人的犯罪率错误的低估了两倍。如果执法者依赖这种错误的算法,则意味着不仅可能冤枉好人,也可能错放坏人。

日前旧金山宣布推出一种「偏见缓解工具」,该工具使用人工智能技术自动编辑警方报告中的嫌疑人种族等信息。它的目的是在决定某人被指控犯罪时,让检察官不受种族偏见的影响。目前该工具已经准备就绪,预计在
7 月 1 日正式实施。

又比如前两年亚马逊曾经闹出的丑闻,用户发现算法在分配货物能否当日送达时,一旦输入了黑人聚集区的邮政编码,就无法使用当日送达服务。

▲ 图片来自:Seattletimes

(被评价为“高风险”的有色人种,和拥有数次犯罪记录却被评定为低风险的白人)

根据旧金山地区检察官办公室的说法,
这个工具不仅会删除关于种族的描述,同时还会进一步删除关于眼睛颜色和头发颜色等可能有意无意对检察官造成暗示的信息,甚至地点和社区名称也将会被删除。

这种偏见现象正在越来越多地出现在种种服务中:贷款的AI风控、保险的AI审核机制。最后就导致了越是弱势群体,越容易被算法边缘化,进而难以获得资源与帮助,最后进一步地向弱势一方倾斜,甚至最终走向犯罪,加重了算法歧视。

它会运作良好并产生实际的效果吗,目前还不得而知。

如此看来HAI的很多策略,是非常值得我们仔细思考的。

某种意义上说,目前人工智能的「歧视」与「偏见」是人类意识以及阶级地位的投射。白人精英工程师研究出的人工智能更像「白人的人工智能」和「精英的人工智能」,同理也可以想象,如果是黑人和黄种人主导的人工智能,同样也会对本群体比较有利。

例如,当我们在关注产业AI的效率问题时,我们是否也应该考虑在效率之外,AI对于产业的更多影响?当AI对于拥有强大IT基础的零售集团发挥作用,他们更加理解用户心智时,那些小而美的微型零售店是否在风潮中被遗忘和挤压,最终退出舞台?

▲ 图片来自:Dudu Mimran

又比如除了那些研发技术和为技术买单的人之外,我们是否有责任去倾听更多人的声音?AI的研发者与技术采买者或许清晰地知道AI是如何推动我们生活运转的,但那些同样被卷在齿轮之下的人,是否也有权力了解到这些齿轮的运转规则?

而通过人工智能对人类本身的偏见行为进行纠错则是一项更有意思的尝试,如果该方法确实能缓解人类的偏见,那人类和人工智能可能会在该问题上相互收益,理想情况下能打造一个正向循环。

更重要的,我们是否应该尽力去推动AI黑箱的透明化,在发现问题时能够从内部技术机制上解决?

神话故事里上帝摧毁了巴别塔使得人类不再语言文化互通,而人工智能这一改变未来的宏伟技术同样像是一座通天高塔,如果要把它建成全人类的福祉,消除不同文化造成彼此偏见是一定要解决的问题。

以往我们总觉得,技术永远只是研发者和应用之间的故事。如今看来,或许AI已经成为了一个世界命题。

世界命题,就应该广泛参与。