算法推荐的潜在危害

2006年，哈佛大学凯斯·桑斯坦教授在《信息乌托邦》一书中提出，人类社会存在一种“信息茧房”现象。他认为，在信息传播中人们自身的信息需求并非全方位的，只会注意选择自己想要的、能使自己愉悦的信息，久而久之接触的信息就越来越局限，就像蚕吐出来的丝一样，细细密密地把自己包裹起来，最终将自己桎梏在“信息茧房”内，失去接触和了解不同观念的机会。

算法推荐则有可能强化信息茧房效应：你越是对某种事物感兴趣、倾向于某种观念，算法就会越是给你推荐关于这种事物、支持这种观念的材料，让你不断强化自己的兴趣和倾向。而且，算法推荐还可能被有目的性地引导人群，从而影响公众观念，甚至影响政治决策。因此，美国数学家凯西·奥尼尔在《算法霸权》一书中将推荐算法称作“数学大杀器”（weapons of math destruction）。在过去几年中，这件“大杀器”已经在现实世界中多次产生效果。

2016年，在支持特朗普竞选的“阿拉莫项目”（Project Alamo）中，来自脸书、谷歌、推特等几个主要社交网络平台的顾问在圣安东尼奥的同一间办公室并肩工作，在数字广告上投放了大约9千万美元。阿拉莫项目采用了精妙的算法推荐技术来影响选民：当一位互联网用户被识别为“关键选民”（例如摇摆州的摇摆县的摇摆选民），社交网络就会给这样的用户定向投放具有引导性的内容，从而用相对不多的经费影响竞选结果。

就在美国大选前几个月，英国的剑桥分析（Cambridge Analytica）公司使用来自脸书的用户数据操纵了英国脱欧（Brexit）公投，令脱欧派意外获胜——与特朗普意外当选如出一辙。

在正式用于影响英美政局之前，类似的手段已经在多个发展中国家做过实验。2010年，在特立尼达和多巴哥，一场起源于脸书的“Do So”运动让大批非洲裔选民拒绝投票，从而使印度裔主导的联合民族大会（UNC）在大选中受益。2015年，部分尼日利亚用户在脸书上看到暴力血腥、仇视穆斯林的视频短片，其目的是恐吓选民、操纵选举。算法推荐一旦被滥用，真的可以成为“大杀器”。

即使不是被故意滥用，算法推荐也可能暗含社会的偏见和歧视。去年10月，推特的推荐算法被发现“无意中放大了右翼团体内容的传播”：政治右翼当选官员发布的推文在算法上被放大的程度超过政治左翼；右翼媒体比左翼媒体的影响力更大。

更早之前，职场社交网站领英的搜索算法（也可以看作一种形式的推荐算法：根据搜索关键词推荐“最匹配”的内容）被发现存在性别歧视，男性求职者会被放在更高的位置。谷歌的广告平台AdSense被发现存在种族偏见，如果搜索关键词看起来像是黑人的名字，AdSense就会有更大概率推荐犯罪记录查询相关的广告。

因为算法推荐有这些潜在危害的风险，欧美一些研究者很早就提出对推荐算法加以管制。本次《规定》中要求的算法机制机理审核、科技伦理审查、允许用户关闭算法推荐等措施，在国外都早有人提过建议。然而国际互联网大厂从未将这些建议落地，还经常辩称“基于深度学习的算法无法被审核”。为了帮助读者理解《规定》的重要意义，笔者将简要介绍算法推荐背后的技术原理。