在今天，社交媒体已经深深地嵌入了人们的日常生活，当个体面对现实世界中的信息爆炸时，对于信息进行过滤与整理似乎是一种必然的选择。为了应对社交媒体的所带来挑战，算法工程师们提出了许多平台层面的干预策略。随着推荐算法的不断完善，推送到人们面前的信息已经在变得更加平衡且丰富。与此同时，人们对于个性化推荐所带来的“信息茧房”或“同温层效应”感到担忧。例如，特定的社交平台会根据用户的政治倾向推荐同质化的内容，导致用户只能接触到片面的信息来源。从而对于良性的公共对话产生负面影响。

怀有警醒的态度生活当然是很好的，然而对于信息茧房在现实层面的具体面貌，目前仍缺乏清晰的研究。我们缺乏对于信息茧房是否存在的实证，并对于它如何影响个人的信息选择也缺乏了解。事实上，人们选择性地接触信息并不是一个新现象。也有学者指出，“同温层效应” 确实存在，但目前的担忧其实是夸大了事实。“信息茧房”这一概念引发了广泛的担忧，但这是否是一种叫魂式的担忧呢？为了更好应对我们身处的复杂世界，我们需要对于这个过程有更好的研究与理解。

在许多关于信息茧房的讨论中，人们抱有这样一种假设：如果你能接触到多样化的信息，那么就能打破信息茧房。而在杜克大学社会学家克里斯·贝尔（Chris Bail）的《打破社交媒体棱镜》（Breaking the Social Media Prism）一书中，他提出了这样的一个问题：如果个体在社交媒体上接触到与自身对立的观点，这是否真的有助于他反思自己？贝尔在他的实验中发现，用户在社交媒体的日常使用中接触到的对立观点，其实并没有帮助他们反思自身，反而让他们的政治立场变得更加极端。所以哪怕信息茧房被打破，社会的极化也并不会消失。由此，贝尔提出了“社交媒体棱镜”， 他认为社交媒体并不是一面如实反映世界的镜子，而是一个会扭曲用户对自我和他人认知的棱镜。对于人这种扭曲会让用户形成错误的自我身份认同和虚假政治极化（false polarization），从而变得越来越极端。

贝尔在他的书中提到了一种喜欢在网上发泄情绪，引起大家关注的人。我想我们都很熟悉这样的人物画像，他们的目的不是表达或者寻求共识，而是制造混乱。面对这样的人时，人们很容易做出情绪化的反应。事实上，这种形象在现实中当然也存在，在《卡拉马佐夫兄弟》里，在先前表现糟糕的老卡拉马佐夫来到了一家餐厅，他在心里对自己说：“ 我总是感到，不管我走到哪里都低人一等，每一个人都想对待小丑一样对待我——那就让我真的演一次小丑吧，你们所有人，无一例外，都比我低级。” 他这样想着，然后在餐厅里大闹了一场。而不幸的是，在网络上和在现实中一样，这样的闹剧总能得到更多的关注。

最近，阿姆斯特丹大学的彼得·滕贝里（Petter Törnberg）和迈克·拉罗伊（Maik Larooij）两位作者在物理学预印本平台arXiv上发表了一篇论文，并得到了《科学》杂志的关注。在这篇名为《我们能修复社交媒体吗？利用生成式社会模拟测试亲社会干预》 （Can We Fix Social Media? Testing Prosocial Interventions using Generative Social Simulation）的论文中^[1]，他们利用大语言模型生成了500个虚拟用户，并构成一个小型的社交网络。每个用户都根据美国国家选举研究中来自全国选民调查的真实用户画像，被赋予了年龄、性别、宗教信仰、政治倾向和教育程度等特征。

在三项独立的实验中，研究人员分别使用三种主流大型语言模型（LLM）——ChatGPT、Llama 和 DeepSeek——将虚拟用户扩展为包含兴趣、爱好和职业等更细致特征的个人画像，并基于这些画像生成决策。在实验过程中，系统随机选取的用户需在三种行为中进行选择：从 10 篇随机新闻文章（从 21 万个候选项中抽取）中选择一篇并撰写相关帖子；转发已有帖子；或依据自身画像关注其他用户。用户的选择会受到其信息流内容的影响，该信息流包含 10 条帖子，其中一半来自用户已关注的人，另一半则来自未关注用户的热门帖子。

在每次实验中，虚拟社交网络均运行了一万个周期。然而，无论研究人员采用哪一种 LLM 模型，平台最终都不可避免地出现了三种典型的负面现象：回音室效应、影响力集中，以及极端声音的放大。

该研究随后以理想化形式测试了六种通常用于缓解社交媒体算法问题的干预策略：

1. 按时间顺序推送或随机推送

2. 淡化主流（高转发量）内容

3. 平衡党派内容的桥接算法

4. 优先发布具有高同理心或高推理能力的帖子

5. 隐藏社交媒体统计数据，例如粉丝数量

6. 隐藏个人简介以减少基于身份的信息传递

然而实验结果令人沮丧。只有部分干预措施对于系统起到了轻微的改善作用，但没有一项能够彻底地修复出现极化的系统。事实上，一些干预措施反而加剧了问题。平衡党派内容的桥接算法显著削弱了党派倾向与参与度之间的联系，并略微改善了观点多样性，但同时也加剧了社交媒体中的关注度不平等。按时间顺序推送对减少关注度不平等效果最为显著，但同时也存在弊端：它加剧了极端内容的传播。

按时间顺序推送是一种属于 Web2.0 时代的，更加古早的推送策略。人们倾向认为 BBS 论坛等按时间排序的网络社区，更容易实现注意力的平等，减少社群的分裂与极化；而采用推荐算法的社区，因“回音室效应”容易造成群体间的间隔，进而加速观点极化。而在这两位科学家的模拟中，取消了推荐算法按时间排序推送，反而加剧了极端内容的传播。这是一个有些反常识的发现。

在接受 Ars Technica 的采访时，彼得·滕贝里也提到了他作为一个学者对于在研究中对于 AI 模拟实验的批评与怀疑。但是与此同时，单纯使用观测数据，使得研究者很难验证反事实假设。因此，研究者们也会创建系统的计算机模型，并在此基础上进行实验并验证反事实假设。计算机模拟在社会行为研究领域有着悠久的历史，例如罗伯特·艾克斯罗德（Robert Axelrod）就曾在《合作的进化》（The Evolution of Cooperation）中使用计算机模拟“重复囚徒困境”竞赛，研究合作的产生与竞赛。这种方法有助于研究网络动力学的结构和发掘社会现象的涌现过程。正如彼得·滕贝里所言：“我仍然要对这些发现持保留态度，意识到这些只是模型，它们捕捉的是一种假设的世界——就像真空中的一头球形奶牛······不幸的是，在这个实验中，我们发现了一种似乎非常稳健的机制。”

而在更早之前，在《自然》杂志 2021 年发表的一项研究中^[2]，多伦多大学计算机科学系的研究团队以社区平台 Reddit 过去 14 年间共计 51 亿条评论为样本，分析了用户在 1 万多个子社区中的发言行为。结果显示，Reddit 的社区结构并非仅以“话题”划分，而是深受用户的年龄、性别与政治立场等社会因素影响。研究发现，2012 至 2015 年间，Reddit 上的政治极化程度相对稳定；但在 2016 年美国大选期间，平台的政治极化水平突然显著上升。值得注意的是，这一变化主要由当年新加入的用户推动，而老用户的立场变化极小。这一结果表明，用户的极化程度与平台使用时长关系不大，更可能受外部政治事件驱动，而非社交平台内部行为的积累所致。

在国际学术界，关于社交媒体与政治极化关系的研究多以政治取向（如左右翼）为衡量维度。然而，多数实证研究表明，社交媒体并不会显著加剧社会的极化现象。换言之，极化更多是现实政治分裂的映射，而非平台算法所制造的“回音室”或“信息茧房”效应。

也许，更接近现实的解释或许是：社会本身的分裂决定了社交媒体内容的分裂。人们在网络上看到的对立声音，并非由算法催生，而是现实世界的分裂在社交媒体世界的真实反映。即便在不存在算法干预的中性环境中，人类依然倾向于靠近与自己观点相似的群体；而面对异见群体时，自我认同的防御性强化反而会使极端立场更加突出。

事实上，我想起《美国的反智传统》的作者理查德·霍夫施塔特（Richard Hofstadter）的论述，他早在上世纪60年代就开始批判他所处时代政治的偏执狂传统。“这是一种持续存在心理情结。” 也许，无论我们用纸媒交流，用电台或是电视交流，还是像现在一样在社交媒体上交流，这样的极化与偏执总是存在的，这是一种我们无法否认，也无法避免的现实。面对历史，也许我们不得不承认，与其怪罪算法，我们更加应当意识到我们作为人类的局限。当然，这也就是说，我们不要放弃，去理解这个我们所生活的世界。

参考文献

[1] Larooij, M., & Törnberg, P. (2025). Can We Fix Social Media? Testing Prosocial Interventions using Generative Social Simulation. arXiv preprint arXiv:2508.03385.

[2] Waller, I., & Anderson, A. (2021). Quantifying social organization and political polarization in online platforms. Nature, 600(7888), 264-268.

2019年，150名受试者来到UCLA的VCLA中心，观看Baxter机器人打开附有安全锁的药瓶。随后，Baxter向其中一些受试者解释了自己是如何打开药瓶的，剩下的人没有得到任何解释。最后，实验者向所有人提问：你在多大程度上相信这个机器人会开药瓶？

在过去的半个世纪里，机器的计算与储存能力突飞猛进，我们可以轻松地在计算机上运行像MYCIN一样相对简单的系统，甚至可以训练深度神经网络、支持向量机（Support Vector Machine）等更加复杂的模型达到接近专业医生的诊断水平，或是让机器人完成相对复杂的精细动作。

但是，AI系统的性能提升也带来了新的问题：如果这些系统进入我们的生活，你会信任它们作出的决定吗？

为何要解释AI？

AI如日中天，我们为什么要停下来思考怎么解释它？

2016年5月，ProPublica发布了一篇名为《机器偏见》的调查报告，聚焦一个名为COMPAS的AI系统。COMPAS被广泛应用于美国司法量刑。它基于已有的犯罪记录，尝试预测被告被再次逮捕的概率，得出一个1到10分之间的分数——分数越高，它建议的量刑越重，以期更有效地惩治潜在的再犯。

ProPublica分析了18000多人的COMPAS分数和犯罪记录，发现黑人与白人的分数分布明显不同——在犯罪历史、再逮捕记录、年龄、性别都相同的条件下，黑人被告得到更高COMPAS分数的概率高于白人被告45%。另外，有48%在两年内被再次逮捕的白人被告的COMPAS分数被低估，几乎是黑人被告的两倍。因为数据来自具有结构性不公的环境（既有司法系统倾向于区别对待不同人种），COMPAS的（草率）决定也受此影响。然而，由于COMPAS是一个黑箱系统，法官只能看到分数，对内部的决策机制一无所知，导致他们无法有效评估系统的建议。另一篇调查报告更是指出，COMPAS的准确率相当于几乎没有刑事司法专业知识的人。

无独有偶，2015年，有用户发现谷歌的图像识别系统将自己的黑人朋友标记为“大猩猩”，在推特上引起轩然大波。直到2018年，谷歌仍然没有完全修复这一漏洞，只是将灵长类的标签从系统中移除，并称“图像识别技术还不成熟”。同样是2015年，纽约西奈山医院用70万病人的数据训练了一个名为“深度病人”的深度神经网络，用以辅助医疗诊断。“深度病人”对精神分裂症的预测出乎意料地准确，但没有医生知道为什么，自然也无法应用于自己的临床诊断；当它被用于分析医院以外的X光片时，系统正确率莫名出现了大幅下降。

“数据不会说谎。”但这绝不意味着我们不需要仔细审视它们，或是给予基于数据之上的AI系统无条件的信任。肖特利夫的MYCIN系统本质上是一个决策树，属于“透明”的模型——我们可以画出从数据输入开始完整的决策过程，从而评估MYCIN的决定。深度神经网络的性能远远优于决策树，但它是一个“黑箱”——我们几乎不可能确切地知道它在算什么。性能与可解释性似乎此消彼长。

对一位只追求正确率和性能的算法工程师来说，黑箱AI未必不受待见：一个能够准确预测95%的事件的黑箱系统，肯定比另一个正确率只有65%、更透明的系统好。可是，当工程师需要调整系统内部“零件”的时候（比如修复谷歌图像识别系统），黑箱会让这项任务无比艰难：到底是哪一步出错了？是用于训练的数据有问题，还是模型本身的性能不足，或是损失函数（loss function）有待改进？置身黑箱之外的工程师很难一针见血地指出病灶。

我们中的大多数人也许极少有机会成为工程师、法官、医生，但这不妨碍黑箱AI对我们的生活造成影响。与我们的一厢情愿相反，不够透明的AI系统非但没有比人类更客观、公正、精确，反而加深了既存的偏见和不公正，对数字民主和基本人权构成威胁，而对这些系统的控制、介入和审计也更为困难。当我们无法解读AI作出的决策，对它未来的预期不过是纸上谈兵，信任也无从谈起。

可解释AI（Explainable AI，即XAI）想要解决的正是这类问题。XAI认为，通过解释AI系统的决策过程，人类能够更好地理解它的机制、优缺点、潜在影响等特性，从而更有效地预测系统的行为，达到逐步建立信任关系的效果。如果AI革命不可避免，至少一个可被解释的系统能够更好地融入崭新的算法社会契约——例如伊亚德·拉万（Iyad Rahwan）提出的社会回环（Society-in-the-loop）——与人类共生存，而不必成为敌对的关系。

我需要一个解释

可解释AI终究是为人服务的（好比高阶编程语言是为了人类设计的，否则机器之间的“交流”大可以用机器编码之类人类无法轻易读写的“语言”）。所以“解释性”也是相对人而言的。关于黑箱AI系统，什么样的解释才是好的解释？心理学家和哲学家早就开始分头研究，但各执一词。

解释常常需要阐述特定的因果关系或因果模式，例如“我不吃杏仁，因为我对坚果过敏”。这样的解释非常贴切（没有转移话题），直接明了（不存在循环论证），逻辑严密。有的现象却很难用通俗的因果关系解释——请试着回答，“我掷了一次骰子，为什么朝上的一面是3？”当然，你可以引用物理法则来解释掷骰子的具体过程，但我可能一头雾水。为了避免这样的尴尬，你也许会提及相关的（非因果的）概念，比如“随机性”，或是用类比等手法让你的解释更容易被听众接受（比如上一段的第一句话）。一般而言，因果关系在解释中占据不可动摇的地位，但不是唯一的手段。

既然解释本身可以有各种形式，为了筛选出最好的可解释AI，我们为什么不直接问：你理解这个系统在做什么吗？相关的心理学研究也的确使用了类似的方法来推断人们是否能够通过描述性解释理解某一概念。它们发现，客观上，当受试者对某一概念有更好的理解时，他们能通过主观的直觉感觉到自己的认知进步，好比“茅塞顿开”。

然而，耶鲁大学的列昂尼德·罗森布里特（Leonid Rozenblit）和弗兰克·凯尔（Frank Keil）提出的“解释深度的错觉”（Illusion of Explanatory Depth）仿佛当头一棒。罗森布里特和凯尔让受试者首先评价自己对某一工具（比如拉链）的理解，然后详细地解释这个工具的工作机制，并再次评价自己的对它的理解。他们发现，相比一开始，试图解释后的受试者对自己理解的评价明显下滑，仿佛突然意识到自己其实一知半解。这就是“解释深度的错觉”。这种错觉影响着所有人（包括小孩子），并且只作用于解释性的知识。完全相反的情况也不少见：人们会自称不理解一个动力系统，却能熟练地使用它。

另一方面，规范（normative）解释在哲学（尤其是科学哲学）中发扬光大。规范解释有意忽略个人因素，比如认知能力，而是关注“应有”的理解。因此，规范理解可以被视为一种基准，用来分析哪些信息应当被包含在解释里，以及受众会有何种程度的理解。更进一步地说，好的（规范）解释应当从理解的目的出发，基于受众与黑箱AI的关系给出不同的解释。显然，修补系统漏洞的工程师和审核系统公正性的法官所需的理解是不同的。我们可以合理假设前者具有足够的技术知识背景，也许将计算模型可视化就提供了足够好的解释。后者需要的是更抽象的文字解释，比如“其他条件不变，COMPAS系统预测黑人被告和白人被告被再次逮捕的概率不同。”两种都是好的（规范）解释，一旦互换却可能成为各自的鸡肋。

规范解释看似更加直截了当，但在实际应用中还没有确切实现或评估的共识。描述性解释似乎也不甚完美。时至今日，我们仍未整合描述性解释和规范解释，关于解释的研究和可解释AI还在齐头并进。

有了可解释的AI就万事大吉吗？

2017年开始，美国国防高级研究计划署（DARPA）投资了一系列XAI的项目，包括UCLA的VCLA中心的研究项目。2018年，ACM主办了第一届FAT*会议，关注AI系统的公正性、问责制和透明度。同年，AAAI与ACM共同举办第一届AIES（人工智能、伦理与社会）会议。谷歌、微软等科技公司也陆续参与XAI的研发。各界对于XAI的关注促成了许多“拆穿”黑箱AI的尝试，从DeepMind提出的机器心智理论（Machine Theory of Mind），到将黑箱神经网络转化为“透明”的布尔电路（Boolean circuit），再到LIME（Local Interpretable Model-Agnostic Explanation）等通过近似黑箱模型提取重要特征的方法。虽然XAI目前解释的对象主要是工程师等研发人员，但是在未来，我们将会看到更多面向大众的XAI，比如向你解释如何开药瓶的Baxter。

XAI并不是终点；它最多算一个起点，而我们还有许多亟待解决的问题。首先，对黑箱AI的解释可以被悄无声息地篡改，可以完全牛头不对马嘴，而且很难察觉。哈佛大学的希玛宾度·拉卡拉朱（Himabindu Lakkaraju）和她的学生们发现，只需在模型上动一些简单的手脚，就能让它滥用COMPAS数据集里的种族信息决定量刑，但一旦LIME来“视察”，它立刻摆出无辜的嘴脸，完全不露馅。这就意味着，即使有XAI为工具，我们对AI的信任也不应当盲目地依赖系统的可靠性和（表面上）信息的透明性，理智与批判性思考将格外重要。

其次，针对AI的条例的制定相对滞后于研发和应用。XAI的出现将会让这个问题更加复杂——由于黑箱AI难以捉摸，且只有少数人具备解读/修改的能力，研发机构不必过分担心自己的科研成果泄漏（除非算法模型被一锅端）。如果面向用户和公众的解释成为需求、甚至必须，既有的AI系统——无论透明与否——都有可能面临一系列的风险，包括知识产权（利用反向工程重建系统）和系统安全（恶意的对抗攻击）。信任与保密两者的张力之下，XAI应当提供的解释的具体内容尚无定论。

再者，偏见和不公不会因为解释本身而消失；恰恰相反，解释会暴露更多一直以来潜行在我们周围的伦理问题。ProPublica对COMPAS的调查使人不禁发出疑问：系统性的种族偏见究竟在何种程度上渗透了美国过去十年间的量刑？随着XAI的进步，一个个黑箱AI的庐山真面目逐渐显露在我们眼前，不难想象其中有像COMPAS一样的“帮凶”。我们能否通过公开讨论解决结构性问题、完善问责制，这将是对AI和人类社会共同的挑战。

参考文献

Choi, A., Shi, W., Shih, A., & Darwiche, A. (2019). Compiling Neural Networks into Tractable Boolean Circuits. AAAI Spring Symposium on Verification of Neural Networks (VNN), Stanford, CA.
Defense Advanced Research Projects Agency. (n.d.). Explainable Artificial Intelligence (XAI). Retrieved from https://www.darpa.mil/program/explainable-artificial-intelligence
Edmonds, M., Gao, F., Liu, H., Xie, X., Qi, S., Rothrock, B., Zhu, Y., Wu, Y. N, Hongjing, L., & Zhu, S. (2019). A tale of two explanations: Enhancing human trust by explaining robot behavior. Science Robotics, 4(37). https://doi.org/10.1126/scirobotics.aay4663
Keil, F. (2006). Explanation and understanding. Annual Review of Psychology, 57.
Larson, J., Angwin, J., Kirchner, L., & Mattu, S. (2019, March 9). How We Analyzed the COMPAS Recidivism Algorithm. Retrieved from https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm
Miotto, R., Li, L., Kidd, B. A., & Dudley J. T. (2016). Deep Patient: An Unsupervised Representation to Predict the Future of Patients from the Electronic Health Records. Nature Scientific Reports, 6(1), 26094.
Rabinowitz, N.C., Perbet, F., Song, H.F., Zhang, C., Eslami, S.M., & Botvinick, M.M. (2018). Machine Theory of Mind. ArXiv, abs/1802.07740.
Rahwan, I. (2018). Society-in-the-loop: programming the algorithmic social contract. Ethics and Information Technology, 20(1), 5–14. https://doi.org/10.1007/s10676-017-9430-8
Rozenblit, L., & Keil, F. (2002). The misunderstood limits of folk science: an illusion of explanatory depth. Cognitive Science, 26(5), 521–562. https://doi.org/10.1207/s15516709cog2605_1
Slack, D., Hilgard, S., Jia, E., Singh, S., & Lakkaraju, H. (2020, Feb 3). Fooling LIME and SHAP: Adversarial Attacks on Post hoc Explanation Methods [Paper presentation]. AAAI/ACM Conference on AI, Ethics, and Society 2020, New York, NY. https://doi.org/10.1145/3375627.3375830
Yu, V. L., Fagan, L. M., Wraith, S. M., Clancey, W. J., Scott, A. C., Hannigan, J., Blum, R. L., Buchanan, B. G., & Cohen, S. N. Antimicrobial Selection by a Computer: A Blinded Evaluation by Infectious Diseases Experts (1979). JAMA, 242(12), 1279–1282. http://doi.org/10.1001/jama.1979.03300120033020
Yong, E. (2018, January 29). A Popular Algorithm Is No Better at Predicting Crimes Than Random People. Retrieved from https://www.theatlantic.com/technology/archive/2018/01/equivant-compas-algorithm/550646/

在最新的研究中，沃顿商学院运营、信息与决策系的教授 Cade Massey 和 Joseph Simmons， 以及芝加哥大学的 Berkeley J. Dietvorst 教授指出：人们是否信赖一个算法，取决于自己是否有控制权。如果你能让决策者们对算法稍微有些控制权，那他们就更有可能去使用它。

沃顿知识在线的记者采访了 Massey 和 Simmons, 并探讨了他们的研究结论。以下是访谈的节选。

您可以简要概括一下本次研究吗？这篇文章是你们近期研究的后续报道。

Joseph Simmons: 我们在研究一种叫“算法厌恶”的现象。就是说，人们在决策的时候，往往不愿意去遵守某些有据可循的规则，尽管说大量的研究都证明，你确实就应当使用那种方法去判断、去预测。很多人完全就是跟着感觉走、摸着石头过河。他们本该遵循固定的、有据可循的规则，而他们却不这么做。

我们研究好几年了，就是要搞清楚他们为什么、以及什么情况下不愿意依靠这些算法。我们的第二篇文章讨论的是如何能让人们更信赖算法。简单来说，我们发现，如果你告诉别人，“你可以借助一个算法，它能给你提一些建议；你也可以自己做决定”，然后你问他们，“你会怎么选择呢？”——他们其实也会说“我要用算法。”

可是，一旦你把他们的选择付诸实践，让他们见识一下那个算法是怎么运作的，他们突然间就再也不想用了。那是因为他们发现算法也会出错。只要他们看到算法或者计算机也会出错，他们就再也不想用它了。即便是算法或者计算机以后只会犯更小的错误，或者更少地出错，也不能让这些人信赖它。

“很多人完全就是跟着感觉走、摸着石头过河。他们本该遵循固定的、有据可循的规则，而他们却不这么做。”

——Joseph Simmons

人们期望算法是完美的。

Simmons: 是的。人们不仅希望算法是完美的，还指望算法是完美的。可是，我们（编写算法的时候）仅仅是希望它能够比人类的表现要好一点点。我们的第一篇文章有一些悲观。文章说，一旦人们知道某个算法是怎么运作的，他们就不想用了。我们的第二篇文章则表明，你其实是可以说服人用算法的。你只需给他们一点点控制权。如果你说，“根据这个算法，这个人将来的GPA会是3.2。那你觉得他的GPA将会是多少呢？”他们不愿意接受算法（预测）的3.2分。但如果你说，“你可以在0.1分范围内调整这个预测值”，他们就会说：“行。我愿意用这个算法。”我们发现，只要你能让人们稍微有点控制权，他们就更愿意用它。这是个好消息。

Cade Massey: 虽然我们只是在实验环境下检验了这个理论，但它的灵感来源于现实世界中发生的事情。本次研究早期的一些想法，是在与一些公司合作的过程中得来的。我们为公司提供模型，用来招聘新员工。基于多年积累的数据，和优良的数据分析，我们确信自己提供了当时最好的建议。然而，那些公司却不太愿意使用（这些模型）；因为他们想要依靠自己的直觉。

这个现象很常见：在招聘中、在绩效考核中如此，现在也越来越多地出现在有自动化决策的领域，比如说管理对冲基金或者预测产品销量时。自动生成的预测或者建议，也就是算法，在这些领域内越来越普及。而作出最终决定的人，可以选择听从建议，依靠自己的（直觉），或者实施中间方案。

你们的诀窍是，如果能让人有一些控制权，他们就不会那么排斥算法了。然而，究竟需要给人们多大的控制权，才能让他们更接受算法——听说结论让你们吃了一惊。您能谈一谈这件事吗？

Massey: 需要多大的控制权，才能让人接受算法，我们一开始并不确定。给人控制权，会有一个副作用，就是决策的效果会变差。在多数领域中，给人控制权，效果会比完全使用算法要差。越是有主观的意见掺和在决策过程中，效果就越差。于是，你就希望给他们最小的控制权，而他们还能接受算法。我们当时还不知道控制权最小能有多小。我们在研究初期中就已经知道，控制权不需要太大。然后我们试出了它的极限，结论是只需要给人一点点控制权就行了。你知道吗，只需要给人5%左右的控制权，他们就更乐于使用算法了。再增大他们的控制权，他们的兴趣并不会进一步提高。只有一点点控制权，和能够影响决策，效果几乎是一样的。

Simmons: 这就很绝妙了：如果他们修改算法，只会越改越糟。但如果他们只能修改（一点点），他们就只会让结果糟糕那么一小点。既然给他们一点点控制权，他们就更愿意使用算法，那最终的决策与算法本身还是很接近的。我们虽然不能让人百分百地使用算法，但我们能让他们99%地使用算法，而这就已经能够大幅度优化他们的决策了。

“我们虽然不能让人百分百地使用算法，但我们能让他们99%地使用算法，而这就已经能够大幅度优化他们的决策了。”

——Joseph Simmons

假如我是一个公司的老板，或者我购买了一个算法，我能怎样应用你们的研究结论呢？

Massey: 最重要的一点是，你不能强加给人一个铁板一块的模型，或者说一个“黑盒子”一样的模型，然后跟人说，“你应当这样决策。你应当制定这样的决策步骤。”人们会反抗的。你需要给他们决定权。不同的行业，需要有不同的对策。比方说，研究生院要招生，招生办就会给申请者排名次。但有的时候也会有例外。一些人的排序会被调整。这个调整的过程，也可以被自动化。即使你用招生办的部分决策作为模型的输入信息，你还是可以拿出一个自动化模型，然后说，“你应当录取这些人。”

但你有两种选择。如果你说，“这是我们的模型。这是它的结论，你爱信不信。反正我们要把决策过程自动化。”你这么做会招来抗议的。但你也可以说，“我们有一个模型能为您提供一些建议。希望您能参考一下。如果您愿意做一些调整，也是可以通融的。”我们正是与学校这样沟通的。 他们起初还有些将信将疑，只是部分依靠我们的模型。而时间长了，尽管他们依然有权任意调整，但他们基本上就全盘使用模型了。

我觉得，呈现给使用者的方式也很重要。沟通的时候必须让对方知道自己有控制权。

Simmons: 我认为最重要的是不能给人一种“不接受拉倒”的感觉，不能让人觉得你要强迫他们无时不刻完完全全地使用算法。如果你的沟通方式给人那样的感觉，他们就会抵制你。但如果你能这么说，人们就更乐于接受你的算法：“虽然说99%的情况下，我们要使用算法，但你永远都有权修改算法，甚至不遵循算法。”

对自动驾驶汽车行业来说，这就很重要。不难理解，如果人们乘坐一辆完全不受控制的自动驾驶汽车，他们就会感到不安。但如果跟人这么说，“其实吧，你还是可以做这么一件事的。这件事稍微有点难做，也不太寻常，但在你需要的时候，你确实可以通过这种方式来驾驭汽车。我们发现，从来就没有人用到过这个机制，但这个机制是存在的。”——我们推测，如果能这样跟人说，人们就更加愿意乘坐自动驾驶汽车，毕竟他们也有一些控制权。自动驾驶通常比人工驾驶要安全，但人们还是希望能有一位驾驶员，尽管说很多的坠机事故都是飞行员的过错造成的。有人驾驶，他们就能安心。我觉得，我们的研究跟这个问题也有点联系。

“人们希望算法是完美的……可是，我们（编写算法的时候）仅仅是希望它能够比人类的表现要好一点点。”

——Joseph Simmons

最近新闻里还有什么事情能够应用到你们的研究结论呢？

Massey: 选举预测？

Simmons: 对。去年十一月，我们的总统选举结果震惊了世界。有一大堆人在做预测，他们根据以往的民调信息，预测大选的结果。最著名的大概要数 http://FiveThirtyEight.com 的 Nate Silver。他说希拉里有70%的机会赢得大选，而特朗普只有30%的机会。结果当然是，特朗普赢了，而 Nate Silver 备受嘲讽。人们觉得他错了，而且他的模型就错了。问题是，他的模型未必就错了，因为30%的几率意味着只有30%的情况下才会发生。如果一个独立评论员说什么会发生，结果没发生，他不会受到那么多的嘲讽。但如果有人用数据和算法预测什么会发生，结果没发生，他会受到大规模嘲讽，因为人们指望那样预测的结果有100%的准确性。我认为人们对 Nate Silver 的嘲讽，符合我们以前得出的结论。

Massey: 这就又回到第一篇文章了。如果预测有误，人们对出错的模型和算法会非常苛刻，而对出错的人类就更加宽容。我们探究了一下这个问题，而结论依旧是，人们对（模型和算法）有着更严格的要求。

真是这样吗？可是没有人，也没有什么东西是完美的呀。

Massey: 人们为什么这样，我们认为有很多原因：有一条就是，人们相信人类能够逐渐进步，而模型则相对固定。这两种观念都不一定是对的。模型能逐渐完善，而人类却不一定能逐渐进步。他们那种想法听着很有道理，但不一定正确。确实，某些情况下人类能比模型进步得更多，但我们认为，人们对这种情况期望太高了。

你们的研究与领域内其他的研究相比，有什么特别之处吗？

Massey: 探讨模型决策和人类决策之间的差异，我们并不是第一个。人们已经认可几十年了：模型很靠谱。不过，模型为什么靠谱，以及如何改变人们（对它的看法），我们在这一方面的研究比较新颖。

“不先查明病因，就没法开出药方。”

——Cade Massey

Simmons: 以前很少有研究者记录过人们排斥算法的理由。倒是有一些非正式的研究，有一些文章写道为什么人们会讨厌它，但没有人真正系统地研究过。

Massey: 说到底，还是动力的问题。我们研究的动力是，如果我们要与一些组织合作，让他们使用更多的模型，那我们就必须弄清楚如何才能消除他们对模型的偏见。不先查明病因，就没法开出药方。

你们接下来的研究方向是什么呢？

Massey: 我们还会继续研究还有没有别的因素造成人们排斥算法，但我们更希望能在现实世界中检验我们的理论。如果我们跟专业人士合作，涉及真实的金钱利益，他们也会有那种偏见吗？我们又如何帮助他们？有好几个与我们长期保持联系的组织，他们也很感兴趣，想要看看我们在实验环境中的结论是否在现实中成立，并愿意对他们的员工和客户展开研究。

来源：Wharton     翻译：ZDFFF