1950年，在“控制论之父”诺伯特·维纳（Norbert Wiener）所著的《人有人的用处》（The Human Use of Human Beings）出版时，真空管还是电子系统的主要构成单位，当时也仅有几台能真正运行的计算机。
但是，他想象出的“未来”与现在的现实相比，有着惊人一致的细节，也几乎没有明显的错误。他比许多其他早期专攻人工智能的哲学家更清楚地意识到：人工智能不仅会在许多需要智能的活动中模仿和取代人类，并且还会在这个过程中改变人类。“我们只不过是‘永流之河’中的一个个涡流，”他写道，“我们不遵循规律，却一直在寻找自己的规律。”
比如说，在面对很多吸引人的机遇时，我们常常乐于付出一点小小的、微不足道的代价来获取新的力量。然后我们很快就会变得非常依赖于这些新的工具，以致于没有它，我们就失去了生存能力。曾经的选择变成了必须。
这是一个非常非常古老的故事，其中包含了很多著名的进化史叙事。例如，大部分哺乳动物都可以在体内生成维生素C，但灵长类动物却因为选择了以水果为主的饮食结构而失去了这一先天能力。一系列这样的自我强化规律让人类最终变成了依赖于衣服、煮熟的食物、维他命、疫苗、信用卡、智能手机和互联网的生物。并且未来，如果现在还不算的话——我们也将会依赖于人工智能。
维纳预见到了阿兰·图灵（Alan Turing）和其他早期人工智能乐观主义者所忽视的一些初期问题。他认为，虽然这些机器还不足够强大，但可以导致真正的危险，比如说当一个人或一群人用它们来控制其他族人，或是当政治领导者不仅试图用机器本身来控制民众，还试图通过狭隘和冷漠无情的政治技术限制人类发展可能性，仿若在政客眼中人类只不过是机器而已。
果然如维纳所料，现在这种危险已经渗透到了各个领域。
以媒体行业为例，数字音频和视频的发明让我们花很小的代价（对于唱片和电影爱好者而言）就可以抛弃模拟信号制式，从而使我们可以方便——或许过于方便？——地进行高保真度复制。
然而，这种现象其实隐藏着巨大的代价。乔治·奥威尔（George Orwell）在《一九八四》中所描述的“真理部”（Ministry of Truth）现在已具备了实践可能性，能制造完全无法辨伪的“记录”的人工智能技术现在已经变得可行，这将导致我们在过去150年里都在使用的调查工具不再适用。
我们是否会就此舍弃短暂的图像证据时代，回到从前人类记忆和信任被奉为黄金准则的世界？又或者我们是否会研发关于“真相军备竞赛”新的攻防技术？（我们可以想象回到需要曝光的模拟胶片时代在把图片呈现给陪审团之前，将其保存在“防篡改”的系统里，等等。不过，要不了多久，就会有人研究出入侵这种有疑点的系统的方法？）
从近年来的经验中，我们可以汲取一个令人不安的教训：摧毁可信度的声誉要比保护它容易太多。维纳发现了这些根本问题：“长远来看，武装自己和武装敌人并没有差别。”信息时代（information age）其实也是造谣时代（disinformation age）。
我们能做些什么呢？在我看来，维纳几乎漫不经心的观察，即前文提到的“这些机器本身还不够强大是关键语句。正如我最近提出的论点所说，我们在制造工具，而不是同事；我们最需要小心的是对于两者间差别的无知，而且我们需要通过政治与法律创新来强调、标明并捍卫这种差别。
当前人工智能的表现形式是依附于人类智慧的。它只能无差别地消化吸收人类创造的任何东西并提取其中的规律——包括一些人类最有害的恶习。这些机器（暂时）还没有自我批判和创新的目标、策略和能力，因此它们无法通过反省式地思考自己的思维与目标，超越自身数据库的局限。
正如维纳所说，这些机器之所以不够强大，不是因为它们是被束缚的、或是有缺陷的主体（agent），而是因为它们根本就不是主体——也就是说它们无法根据呈现给它们理由采取行动（译者注：康德的理由内在主义的论点）。我们以这种方式看待人工智能是至关重要的，尽管做到这一点可能有些困难。
长远来看，“强人工智能”或通用人工智能在理论上是可行的，但它们并不受人欢迎（后面会详细讨论）。当今实际可行、更受约束的人工智能并不必然是邪恶的，但它本身却带来了其他危险——主要是它可能被误认为是强人工智能！
目前的人工智能系统与主流科幻小说中所描绘的情景还有很大差距，然而包括外行和专家在内的很多人都低估了这个差距。IBM公司创造的沃森（Watson）（译者注：能够使用自然语言来回答问题的人工智能系统）就是一个典型的例子，是可以体现我们当前想象力的代表作。
沃森是超大规模的研发过程的结果，它超越了有史以来所有的人类智能设计成果，需要消耗比人类大脑多几千倍的能量。沃森在《危险边缘》（译者注：美国电视智力竞赛节目）中赢得的胜利是真实的胜利，二节目的规则限制使得它有了取胜的可能。但为了能让它获得取胜的能力，即使这些规则也需要被进一步修改（需要权衡的因素之一是：你需要放弃通用性和一点人性，节目才能获得大众的喜爱）。
尽管IBM具有误导性的广告让人们以为沃森有通用的会话能力，但它却并不是一个好的聊天对象；把沃森变成一个貌似多维的主体就像把一个手持计算器变成沃森一样不可行。沃森的确可以成为一个这样的多维主体的核心程序，不过它的作用更像是小脑或杏仁核，而不是整个大脑——它顶多是一个有特定用途、能起到很大支持作用的子系统，但离拟定目标、计划并根据会话经历进行深层次的创造还差得远。
为什么我们要用沃森制造出一个能思考、会创造的主体呢？也许图灵对运行测试的绝妙想法——著名的图灵测试——把我们诱进了一个陷阱：我们总想探索如何在屏幕背后创造出一个真实的人，就算这只是一个幻觉，也足以填补横亘在假人与真人之间的“恐怖谷”（ uncanny valley，译者注：“恐怖谷”是一种假说，认为随着类人物体的拟人程度增加，人类对它的情感反应呈现增-减-增的曲线。恐怖谷就是随着机器人到达“接近人类”的相似度时，人类好感度突然下降至反感的范围。“活动的类人体”比“静止的类人体”变动的幅度更大。）。
这里的危险在于，自从图灵提出这个最终目的是愚弄判断者的挑战以来，人工智能制造者们就一直在试图用故作可爱的类人外表与迪士尼卡通化的效果来获取大众的喜爱，并以此吸引人工智能的外行，让他们卸下防备。制造这种浅薄的错觉的最早例子就是约瑟夫·魏岑鲍姆（Joseph Weizenbaum）设计的早期聊天机器人Eliza。让魏岑鲍姆担忧的是，他初作尝试，如此可笑、简单而肤浅的程序就能轻易让人们相信他们在进行一场严肃的心灵对话。
他的担心是对的。如果我们能从每年为争夺勒布纳奖（Loebner Prize）而举办的规则严格的图灵测试比赛中学到一件事，那就是：即使是非常聪明的人，如果对计算机编程的各种可能性与快捷方式不够敏感，也很容易被简单的小把戏所蒙骗。
对于这种在“用户界面”上玩伪装把戏的方法，人工智能界中人士有蔑视的，也有看好的。然而他们普遍认为这种把戏虽然不高级，却可能是有效。其实，人们最该认识到的是，类人化的外观是虚假宣传——我们应该竭力谴责这种做法，而不是为之喝彩。
如何做到这一点呢？一旦我们认识到，人们对人工智能系统实际的内部运作漫无头绪，却开始根据它的“建议”来做生死攸关的决定时，就完全可以理解为什么那些鼓励人们对这些系统抱有更多信任的人应该负道德和法律责任。
人工智能系统是非常强大的工具——如此强大，以至于专家们有正当的理由选择不相信自己的决策而是相信这些工具做出的“决策”。然而，如果这些工具的使用者想通过在未知领域中驱使这些工具来获取利益——无论是金钱还是其他形式的利益——他们就需要确保他们知道自己有足够的把握和理由这样做，并为此承担责任。
如同给药剂师、起重机操作员或是给其他可能因为失误和误判而造成严重后果的专业人士发放许可证一样，在保险公司和其他承诺支付者的压力下，要想让人工智能系统的操作者获得许可和资质，就必须让人工智能系统的创造者花费相当长的时间寻找和揭示产品中的弱点和漏洞，对操作者进行培训，并让他们提防人工智能系统的风险。
我们可以想象一种逆向图灵测试，在这一测试中作为裁判的人类才是受试者；只有在他或她发现了系统中的弱点、越界和漏洞后，该系统才会被允许操作。获得成为裁判的资格需要接受严格的心理训练，因为在遇到任何看似有智慧的主体时我们总有一种十分强大的倾向，认为该主体拥有类人的思维能力。
的确，抵抗把一个看起来像人的人当作人对待的诱惑的能力是一种不受欢迎的天赋，因为这会有种族歧视或物种歧视的嫌疑。很多人认为培养这种冷血无情、多疑的能力非常不道德，并且我们可以预见就算是最熟练的系统用户，也完全有可能偶尔屈服于与这些工具“交朋友”的诱惑，即使这样做的目的仅仅是缓解他们履行职责时的不适。
不管人工智能设计者们多么小心翼翼地从他们的产品中清除那些虚假的“类人外观”，我们仍然可以预计，会出现很多捷径、变通方案以及对人工智能系统及其操作者的实际“理解”的扭曲，而这种扭曲将得到人们的容忍。只有强制要求不负责任的特定机构披露相关问题的答案，出现在电视广告中的新药里的那些长到夸张的副作用列表才会大大缩短，药品生产商们才会因为对产品缺陷的“忽视”而受到严厉惩罚。（很多人认为当今世界逐渐加大的经济不平等大部分是因为数字创业者所积累的财富；为了公众的利益，我们应该立法对他们征更多的税。）
我们不需要人工意识主体。自然界中有大量有意识的主体，已经足够处理任何需要这种特别的、有特权的主体来处理的任务。我们需要智能的工具。但这些工具不应该有权利，也不应该拥有受到伤害的感受，或是拥有因为笨拙用户的“虐待”而产生怨恨的能力。
我们不应当制造人工意识主体的原因之一是，无论它们变得多么自主（理论上它们的确可以变得像人类一样自主，并有自我提升和自我创造的能力），它们也不会——特殊情况除外——像人类这种自然意识主体一样具有脆弱和死亡的特点。
在塔夫茨大学，我曾在一次关于人工主体和自主性的研讨班中向学生们提出一个问题：如果要设计一个能和你签订有约束力合约的机器人——它必须能为自己签订，而不是作为某个人的代理者——告诉我这种机器人需要哪些特定能力。这里的问题不是让这个机器人理解从句，或是如何用笔在纸上涂写这么简单，而是让它成为一个值得拥有法律地位的道德责任主体。儿童无法签订这种合约，而有些残疾人也只有在监护人的照看下，才拥有这种法律地位。
让机器人这种高级地位的问题在于：它们像超人一样刀枪不入，没有弱点，因此不能作出令人信服的承诺。如果它们食言了，人类会拿它们怎么把？它们违反承诺的惩罚应该是什么？被关在监狱里，或是更合理一点，被拆解？对于人工智能来说，被关起来根本不算什么麻烦，除非我们事先给它们安装人工的漫游癖程序，而且它们自己无法无视或关闭这个程序（如果人工智能真的有那么令人惊叹的自我认知，这个办法也很难保证万无一失）；如果一个人工智能系统的设置和软件里储存的信息没有被破坏，拆解一个人工智能系统（无论是机器人或者像沃森一样无法行动的主体）也不等于已经杀死了它。
将数字录制和传输变得简单轻松是让软件和数据得以永生的一项突破，让机器人摆脱了脆弱的自然世界的影响（至少对于那些我们通常想象的、拥有数字软件和记忆的机器人来说）。如果这种永生意味着什么还不够清晰易懂的话，可以想象一下，比如说，假如人类每周都能制作自己所有行为的“备份”，这会如何影响人类的道德观？周六你在没有蹦极绳保护的情况下从一个高高的桥上头朝下跳下去，这只是一瞬间的事，你不会记住你瞬间死亡的过程。然后周五晚上的备份在周日早上被放到了互联网上，你可以回看和欣赏自己死亡过程的录像（译者注:作者举这个例子是想说明，如果人类也像机器人一样永生，回看和欣赏自己“坠亡”的过程是不道德的，因此追求永生不应该成为人类和人工智能的目标）。
所以我们在创造的并不是——也不应该是——有意识的类人主体，而是一种全新的存在。或许它们更像圣人，没有良心，不惧死亡，不受爱与恨干扰，没有性格（但是各种各样的弱点和怪癖无疑将被认作该系统的“个性”）：真理的盒子里（如果我们足够幸运）几乎总是散落着各种错误。
与人工智能一起生活，我们很难不去分心想象它们会以何种奇特的方式奴役（字面意义上的）我们。人对人的用处很快将被再一次永久的改变，但我们可以把握这个改变的方向；如果我们对人类前进的道路负起责任，就能避开危险。
改编自《可能的心智：二十五种看待人工智能的方式》(Possible Minds: Twenty-Five Ways of Looking at AI) 一书中丹尼尔·C·丹尼特的文章“我们能做什么？”（“What Can We Do?”）
翻译：Lemona；校对：王培
