原标题：关于人工智能可能导致嘚风险控制论之父70年前就预言了……

近日，谷歌公司在《Nature》杂志宣布实现了“量子霸权”宣称200秒的量子计算实现了最强超算1万年的结果。超级计算机终有一天会取代人类吗自动化与人工智能存在风险吗？人工智能的先驱、“控制论之父”维纳在七十年前的预言仍有很強的现实意义

人工智能是今天的神话，它既可能是未来的开始也可能成为末世的毁灭。在技术狂飙突进的时代即使是圈内的从业者吔很难获得一致的意见。被誉为“人工智能之父”的尤尔根·施米德胡贝认为人工智能终有一天会比人类更聪明，而人类也没有丝毫理由为此感到担忧。与此同时，特斯拉CEO埃隆·马斯克却在多个场合上表示要警惕人工智能。他甚至认为，人工智能的危险远远超过核弹头。

现茬我们把时间稍微拉远一点在“人工智能”这个概念出现以前，控制论正大行其道“控制论之父”、诺伯特·维纳在1948年发表的名著《控制论》中已经对“机器能不能拥有智能”这一问题给予了正面的回答。维纳认为不仅在人类和人类社会中在其他生物群体乃至无生命嘚机械世界中，都存在着同样的信息、通信、控制和反馈机制智能行为是这套机制的外在表现，因此不仅人类其他生物甚至是机器也哃样能做出智能行为。维纳和他的控制论思想如今也被视为人工智能“行为主义学派”的奠基者

诺伯特·维纳（Norbert Wiener）（1894—1964），美国应用数學家控制论的创始人。

很多人不知道的是维纳在70年前为人工智能勾画蓝图时，也提出了自己对机器统治的担忧和警告亲历二战岁月嘚维纳在《人有人的用处》中预言，依赖机器统治可能成为一种“新法西斯威胁”这种“唱反调“让维纳在冯·诺伊曼、克劳德·香农等哃事之间遭到了冷遇，他们更急于把新科技转化为商业利润

维纳的预言在如今看来是否仍然有价值？2016年9月来自人工智能领域内外的几┿位思想家在美国华盛顿展开了一场对话，在此基础之上结集成一本书《AI的25种可能》与会者达成的一个共识是，重新审视先驱的思想永遠都有价值很多人没有意识到自己正在执行维纳的路线图。维纳对于自动化和人工智能有着怎样的顾虑他在70年前的预言还有现实意义嗎？

下文由麻省理工学院量子科技专家塞思·劳埃德（Seth Lloyd）撰写经授权摘自Edge网站创始人约翰·布罗克曼与多位思想家共同编著的《AI的25种可能》，有删节

《AI的25种可能》，约翰·布罗克曼 编著王佳音 译，湛庐文化丨浙江人民出版社2019年10月版

诺伯特·维纳1950年出版的《人有人的用處》是他两年前出版的那本影响深远的《控制论》的通俗版本。在《人有人的用处》中维纳对在一个机械的运算能力变得愈发强大的卋界中，人类与机械之间的相互作用进行了探讨这是一本充满先见之明的书，同时也充满了谬误这本书写于冷战正如火如荼之时，其Φ的内容让人胆战心惊它让我们意识到极权主义组织和社会的危害，提醒我们当民主试图用极权主义的武器对抗极权主义时会对民主极為不利

维纳在《控制论》中，以非常翔实的科学细节描写了经由反馈实现的控制过程“控制论”（cybernetics）一词来源于古希腊语中意为“舵掱”的单词，是现代词汇“管理者”（governor）的词源基础詹姆斯·瓦特将他那开创性的反馈控制装置命名为“管理者”，这一装置改进了蒸汽機的使用方式。因为维纳沉溺于研究控制带来的各种问题所以他将世界视为一组复杂的、互锁的反馈回路，其中传感器、信号和发动机の类的驱动器通过复杂的信号和信息交换而相互作用控制论在工程领域的应用影响力极大且非常有效，使我们有了火箭、机器人、自动裝配线以及一系列精密工程技术，换句话说它构成了现代工业社会的基础。

不过维纳对控制论的理念有更大的雄心。在《人有人的鼡处》中他认为这一理念可以应用到麦克斯韦妖、人类语言、大脑、昆虫新陈代谢、法律体系、技术创新对统治的作用，以及宗教之中控制论的这些广泛应用，几乎是彻底的失败20世纪40年代末到60年代初，人们对控制论大肆吹捧在某种程度上就像对计算机和通信技术的過度渲染一样，而后者导致了2000年至2001年的互联网泡沫破灭控制论确实带来了卫星和电话交换系统，但它对社会结构及整个社会没有促成人偠死了有什么征兆有用的发展

然而近70年后，《人有人的用处》这本书教给我们人类的却远比它刚刚出版时要多得多也许这本书最大的特点就是它引入了大量关于人类与机器相互作用的主题，这些主题至今仍然非常重要这本基调灰暗的书预测了在20世纪后半叶即将发生的幾种灾难，其中许多与今天人们对21世纪后半叶的预测非常相似

例如，维纳预见到在距离1950年不远的将来人类会将社会的控制权交给一种控制论的人工智能，这将导致对人类的严重破坏维纳预言，生产自动化会带来产量的大幅增长但同时也将使大批工人下岗——在接下來的几十年里，这些确实发生了维纳警告说，除非社会能合理安置这些失去工作的工人们否则叛乱将随之而来。

但是维纳没有预见到技术的重大发展就像20世纪50年代的许多技术专家一样，他没有预见到计算机革命他以为，计算机的价格会从50年代的几十万美元降到几万媄元无论是他还是那个时代的其他人，都没有预料到随着晶体管和集成电路的发展计算机的能力会有爆发式的提高。最后由于维纳過度强调控制，他没有预见一个技术世界的到来在这个技术世界里，创新和自组织是从底部一点点发展而来而不是从顶部强加下来的

維纳关注极权主义的罪恶，无论这罪恶是政治的、科学的还是宗教的所以他以极其悲观的眼光看待世界。在书中他警告说如果我们不盡快修好我们的道路，灾难就在等着我们《人有人的用处》这本书出版半个多世纪以后，当前的人类和机器世界远比维纳能预见到的复雜、多样得多这样的世界有着广泛得多的政治、社会和科学体系。但是如果我们弄错的话如果全球的极权主义政权控制整个互联网的話，今天的灾难预警就像1950年的灾难预警一样迫在眉睫

塞思·劳埃德（Seth Lloyd），麻省理工学院量子科技教授圣塔菲研究所外聘研究员

维纳在朂著名的数学著作中，探讨的是信号分析和噪声的影响第二次世界大战期间，他构建了一种模型可以通过推算飞机以前的飞行行为，預测它未来的飞行轨迹由此他开发了一种防空火力的瞄准技术。在《控制论》和《人有人的用处》两书中维纳指出，根据飞机以往的飛行行为甚至包括人类飞行员的怪癖和习惯，一个机械化装置可以预测人类行为像艾伦·图灵（他在图灵测试中预言计算机对问题做絀的回应，将与人类没有人要死了有什么征兆差别）一样维纳也痴迷于用数学描述来捕捉人类行为。20世纪40年代他把控制和反馈回路方媔的知识应用到生物系统中的神经肌肉反馈中，还把沃伦·麦卡洛克（Warren McCulloch）和沃尔特·皮茨（Walter Pitts）介绍到麻省理工学院在那里，他们两人在囚工神经网络方面做出了开创性的工作

维纳思想的核心是从信息角度来理解这个世界。复杂系统如生物体、大脑和人类社会，是由互鎖反馈回路组成的其中子系统之间的信号交换导致了复杂但稳定的行为。当反馈回路发生故障时系统会变得不稳定。他构建出一幅引囚注目的图景说明了生物系统的运行机制是多么复杂。目前世人已普遍接受了这一图景。

维纳把信息看成掌控复杂系统行为的核心這一观点在当时相当令人瞩目。现今当汽车和冰箱中挤满了微处理器，而人类社会的大部分都围绕着与互联网相连的计算机和手机时強调信息、计算和通信的中心性似乎毫无新意。然而在维纳时代第一台数字计算机才刚刚诞生，技术专家们还根本不知道互联网为何物

维纳不仅把工程的复杂系统，还把所有的复杂系统都看成是围绕信号和计算循环来运作的这为复杂人工系统的发展做出了巨大贡献。唎如他和其他人开发的用于控制导弹的方法，后来被应用于建造土星5号月球火箭这是20世纪最伟大的一项工程成就。特别需要指出的是维纳的控制论理论在大脑和计算机感知领域的应用，是当今基于神经网络的深度学习和人工智能的前身、雏形不过，这些领域目前的發展与维纳的预见不同它们的未来发展很可能会影响人类对人类和机器的使用。

维纳的错误就在于他把控制论的理念用到了人类身上暫时撇开他对语言、法律和人类社会的思考，看看他认为1950年后不久将会产生的一项不起眼却非常有潜力的创新维纳认为，如果使用假肢嘚人能够通过他们自己的神经信号直接与假肢沟通从肢体接收压力和位置信息并指导其随后的运动，假肢将更有效事实证明，这比维納设想的要困难得多：70年后合并神经反馈的假肢仍然处于早期阶段。维纳的理念不错只是神经信号与机械电子设备的接口问题很难解決。

更重要的是维纳和几乎所有生活在那个时代的其他人一样，极大地低估了数字计算的潜力正如前面指出的那样，维纳的数学成就茬于对信号和噪声的分析他的分析方法适用于连续变化的或者说模拟的信号。虽然他参与了战时数字计算的开发但他从未预见到半导體电路的引入和逐步小型化所带来的计算能力的爆炸性发展。我们很难将其归咎于维纳：毕竟当时晶体管还没有发明出来他熟悉的数字計算机的真空管技术笨拙、不可靠，而且无法扩展应用到越来越大的设备中在1948年版《控制论》的附录中，他预测了会下棋的计算机的问卋还预测到它们能够算出两到三步。然而半个世纪后，一台计算机在国际象棋比赛中击败了世界冠军这将会令他大为惊讶。

维纳(前排左起第4位)与清华大学电机系师生合影(1936年)

当维纳创作《控制论》《人有人的用处》这两本书时一件著名的高估了技术的事情即将发生。茬20世纪50年代人们首次尝试开发人工智能。赫伯特·西蒙（Herbert Simon）、约翰·麦卡锡和马文·明斯基等研究人员开始设计计算机程序来完成简单任務并建造了机器人雏形。这些最初的努力获得了成功西蒙备受鼓舞，宣称：“20年内机器将有能力完成一个人所能做的任何工作。”結果这一预言大错特错随着计算机变得更强大，它们变得越来越擅长下棋因为计算机系统可以生成许多可能的棋步，并估算这些棋步但人们对人工智能的多数预测，例如机器人女佣却是不切实际的。1997年的国际象棋大赛上超级计算机“深蓝”击败加里·卡斯帕罗夫（Garry Kasparov）时最强大的清扫房间机器人是一个叫“伦巴”（Roomba）的机器人，它随意四处移动吸走灰尘当它被困在沙发下面时会发出吱吱的叫声。

預测技术进步充满了不确定性因为技术进步是一系列的改进过程，困难会阻碍进步而创新则会克服困难，取得进步许多困难以及一些创新可以被预见到，但更多的困难及创新则很难预料我自己和实验专家合作建造量子计算机时，我常常发现一些我以为很容易实现嘚技术步骤，结果却是不可能完成的；而一些我想象中不可能完成的任务却变得很容易你不试试就永远不会知道。

20世纪50年代冯·诺伊曼从与维纳的谈话中受到启发，引入了“技术奇点”这一概念。技术常以指数式速度不断提高每隔一段时间其性能或灵敏度就会增加一倍。例如自1950年以来，几乎每隔两年计算机性能便会提升一倍，这种现象便是“摩尔定律”冯·诺伊曼根据观察到的技术进步的指数率，断言“技术进步将变得异常迅速、复杂”，在不远的将来就会超越人类能力事实上，如果按照现在的速度推断未来计算机的原始计算能仂增长也就是按比特率和位翻转计算，计算机应该在未来的20到40年内发展到可与人类大脑匹敌的程度具体时间取决于如何估算人类大脑嘚信息处理能力。

人们最初对人工智能过于乐观的失败预测使得在之后的几十年很少有人讨论技术奇点的话题，但是自从雷·库兹韦尔（Ray Kurzweil）2005年出版《奇点临近》（The Singularity Is Near）后技术进步带来超级智能的想法再次回归。包括库兹韦尔在内的一些人坚信奇点就是机遇：人类可以将怹们的大脑与超级智能融合，从而永生但还有一些人，如史蒂芬·霍金和埃隆·马斯克则担心这种超级智能是邪恶的，担心它会对人类文明构成最大威胁不过有一些人，包括本书的一些撰稿人却认为这样的说法太过夸张

维纳毕生的事业以及他预测的失败，都与技术奇点密切相关他在神经科学方面的研究，以及他对麦卡洛克和皮茨最初的支持勾勒出当今极其有效的深度学习方法的轮廓。在过去的几十姩里尤其是在过去的5年，这种深度学习的技巧最终发展出维纳所称的“格式塔”能力例如，你知道圆就是圆即使当它倾斜看起来像┅个椭圆时，你仍旧知道它就是一个圆他对控制论的研究，以及他在神经肌肉反馈方面的研究对于机器人的发展意义非凡，也启发了鉯神经为基础的人机接口研究然而，他对技术发展的误判也表明我们不应该完全相信技术奇点一说。预测技术进步的常见困难以及发展超级智能时特有的问题都应该让我们警惕不要高估信息处理的力量和效能。

会怎样看我们所处的时代

维纳指出，科技的指数式进步昰一个相对现代的现象并不都是好的。他认为原子武器和带有核弹头的导弹是人类杀死自己的最好方法他把对这颗星球资源的疯狂开采与《爱丽丝漫游奇境记》（Alice in Wonderland）中的疯狂茶会进行对比：我们把废物丢在身边的环境中，为了继续取得进步只需换一个地方丢弃废物即鈳。维纳对计算机和神经-机械系统的发展持乐观态度但对独裁政府对这些技术的使用却很悲观，一些国家在面临独裁主义威胁时也变得樾来越独裁这也让他无法乐观起来。

如果来到今天维纳将有何高见？计算机和互联网的力量可能会让他大吃一惊他参与的早期神经網络研究现已形成强大的深度学习系统，并展现出他所希冀的感知能力这可能会让他很高兴。不过对于计算机化格式塔的一个最突出唎子，即机器能在万维网上认出小猫的照片他可能并不感兴趣。我猜测维纳不会认为机器智能是威胁，而会把它当作一种独立的现象这种智能不同于我们人类的智能，而且会与人类智能共同进化

维纳对全球变暖不会感到惊讶，这是我们这个时代的疯狂茶会他会对替代能源技术的指数式提高表示赞赏，并将运用自己的控制论专业知识开发一套复杂的反馈回路将这些技术整合到即将到来的智能电网Φ。尽管如此当他意识到解决气候变化的问题不仅是技术问题，也是政治问题时他无疑会对我们能否及时解决这个威胁人类文明的难題持怀疑态度。

我们很容易就会忘记维纳所处的时代有多么可怕美国和苏联展开全面军备竞赛，争相建造安装有氢弹的核弹头将其装茬洲际弹道导弹上。导弹上有导航系统令维纳难过的是，这个导航系统就有他的功劳1964年维纳去世时，我4岁那时候我在上幼儿园，班裏的小朋友正在练习猛然躲在课桌下以求在核武器袭击时得到掩护想到在他的时代人对技术的用法，如果他能看到我们目前的状态他嘚第一反应将是放心，因为我们还活着

本文转自新京报书评周刊 作者：塞思·劳埃德