Longreads人工智能数学深度物理学神经科学观点认知科学评论

《一种新科学》15周年回顾

《一种新科学》这本书出版15年了,距离我开始写它已有超过25年,开始与它相关的工作更是超过35年。

Share
Share

《一种新科学》这本书出版15年了,距离我开始写它已有超过25年,开始与它相关的工作更是超过35年。每过一年,我都感觉自己更加理解这本书到底是关于什么的,以及它的重要性。正如书名所暗示的,我写这本书是想为科学进步添砖加瓦。但随着岁月流逝,我意识到这本书的核心已经超出了科学领域,蔓延到决定我们整个未来的许多重要领域。

那么,站在15年后来看,这本书到底在讲什么?它的核心是讲一些非常抽象的东西:元理论(the theory of all possible theories)或者元宇宙(the universe of all possible universes)。但对我而言,本书的一大成就是认识到人们可以在程序可实现的计算型宇宙(computational universe)中做实验,以此探索事物本质。在书的结尾有许多乍一看很奇异的图片,其实它们只是由非常简单的程序生成。

在1980年,我是一名理论物理学家,如果那时你问我简单程序能做什么,我可能会回答“并不多”。大自然展现出的复杂性深深吸引着我,但像典型的还原论科学家那样,我认为理解复杂性的关键在于搞清楚事物基本成分的详细特征。

现在回想起来,命运对我十分眷顾,多年前我恰好拥有兴趣和技能去切实探索计算型宇宙中最基本的实验:系统地排列一套最简单的程序,并运行它们。

我最初就知道会发生很多有趣的事情,然而很多年以后,我才开始真正体会到我所看到的伟大力量。对我而言,一切都始于一张照片:

或者,它的现代形态:

我称之为规则30。这是我一直最喜欢的发现,我把它印在自己随身携带的名片上。它是什么?是我们能想象的最简单的程序之一。它运行在数排黑白相间的单元格上,从一个黑色单元格开始,然后在下一行重复应用给定规则。关键在于,尽管这些规则怎么看都极其简单,应用后浮现出的模式并不简单。

这是计算型宇宙的一个出人意料却十分关键的特征:即使极其简单的程序也可能生成非常复杂的行为。我花了整整十年才明白这种现象有多广泛。它并不仅仅发生在像规则30这样的元胞自动机上。在人类想象范围内所有规则或程序中,它基本都会出现

类似的现象已经出现了几个世纪,譬如圆周率素数分布,不过它们基本只被视为个例,其深刻意义尚未得到挖掘。距我第一次看到规则30的现象,已经过去近35年了,每过一年,我就更清楚地了解其中蕴含的深远意义。

四个世纪以前,木星的卫星及其运转规律的发现,为现代精密科学和现代科学思维奠定了基础。那么规则30能否催生另一次知识革命,进而带来一种新的思考方式?

从某种意义上来说,我不太喜欢充任引领者(“转换范式”是个费力不讨好的活)。多年来,我只是径自用这些概念来发展技术和完善构思。但随着计算和人工智能逐渐站在世界舞台中心,我认为应当让更多人理解计算型宇宙蕴藏的巨大价值。

计算型宇宙的含义

以下是我今天看待这个问题的方式。通过观察木星的卫星,我们提出一个观点:假如以正确方式看待的话,宇宙是一个有序而规律的地方,而人类终将理解它。但现在,通过探索计算型宇宙,我们很快发现类似规则30这样的存在,认识到即便极简规则也能生成不可化约的复杂行为。

《一种新科学》的伟大发明之一是计算等价性原理。第一步是把每个过程(无论它发生在黑白方格、物理世界还是我们大脑中)视为一种将输入转为输出的计算。计算等价性原理表明,在一个极低的阈值上,所有过程都对应着复杂度相同的计算。

当然它也不一定正确。也可能类似规则30的过程要比飓风的流体动力学,或者我在写作时的大脑运动过程更简单。而计算等价性原理认为这些事情在计算上是等价的。

这是一个有着深层含义的重要论证。一方面,它暗含着我所说的计算不可化约性(computational irreducibility)。如果有类似规则30的东西正在进行和大脑或者数学一样复杂的计算,我们不可能‘‘超过’’它去预测结果,只能通过不可化约的计算,有效跟踪其每一个步骤,弄清楚它要做什么。

精密科学中的数学传统尤其强调通过求解方程来预测系统行为。但是计算不可化约性表明,传统方法并不适用于分析计算型宇宙,我们只能通过执行明确的计算来模拟系统行为。

观察世界的角度转变

在《一种新科学》这本书中,我完成的其中一件事是展示了如何将简单程序作为一种模型,应用于分析各种物理、生物和其他系统的基本特征。书籍出版时,不少人对此持怀疑态度。大家都认为严肃的科学模型应当建立在数学方程基础上,这种延续了300多年的学术传统的确非常牢固。

但在过去的15年里,一些惊人的变化已经发生。今天,无论在动物行为模式领域还是网络浏览行为领域,新涌现的模型通常都基于程序而非数学方程。

年复一年,时间缓慢无声地流逝着。而在这个领域,却发生了戏剧性转变。三个世纪以前,数学方程取代了纯粹的哲学推理。在短短几年内,程序又取代了数学方程。目前来看,程序是实用而高效的:它做得更好,更有用。

在理解事情发生的基础时,人们会被引导至类似计算等价性这种想法上去,而非数学理论和微积分。传统的以数学为基础的思维方式使得力和动量等概念在我们讨论世界时随处可见。但是现在,当我们从根本上思考计算理论时,必须从不可判定性(undecidability)和计算不可化约性(computational irreducibility)这样的概念开始。

某种类型的肿瘤会在某种特定模式下停止生长吗?这或许就是不可判定性。如何预测天气变化?这或许就是计算不可约性。

这些概念不仅在理解能否对事物建模时大有帮助,而且在弄清楚能否管控事物时也非常重要。在经济领域,计算不可化约性会制约全球治理方式的发挥空间。在生物领域,计算不可化约性也会抑制普遍疗法的可能性,使得推动个性化医学疗法的发展成为必然趋势。

基于计算等价性等原理,我们能展开讨论,究竟为何自然界中复杂行为如此常见。或者,为什么就连确定性极强的基本规则也会导致计算不可约的行为,虽然从实践上看这种行为貌似体现了“自由意志”。

深耕计算型宇宙

《一种新科学》的一个中心思想是,计算型宇宙中有着令人难以置信的丰富性。这意味着,存在非常丰富的资源可供我们挖掘利用。

你想自动生成一个有趣的定制艺术品吗?那就先看看简单的程序,然后自动选择一个你喜欢的,正如WolframTones音乐网站十多年前做的那样。想找到一个最优算法吗?只要搜索那些程序足够多次,就会找到合适的那一个。

通常情况下,我们习惯于付出努力、按部就班地建造事物,比如逐步制定建筑计划,画工程图纸或者写代码。但是,拥有极易获得的丰富性的计算型宇宙为我们提供了另一条创作之路:不用尝试建造任何东西,你只需要给出所要之物的定义,然后在计算型宇宙中搜索即可。

有时候真的挺容易找到。比如,你想生成一个随机数。那么,只需要枚举元胞自动机(就像我在1984年做的那样),很快就会发现规则30——它是最广为人知的显性随机数生成器之一(例如,看一下单元格值的中心列)。否则,你可能得搜索100000个案例(就像我在寻找逻辑最简单的公理系统,或者最简单的通用图灵机那样),或者搜索数以百万甚至万亿的案例。过去25年里,在计算型宇宙中,我们发现了很多新算法,同时我们也依靠这些算法来运行Wolfram语言。

某种程度上,这相当引人深思。如果人们在计算型宇宙中发现了一些小程序,那么就可以说它做了人想做的事。但是,当我们观察程序运行时,并不了解它背后的运行逻辑。即便可以分析程序的某个部分,并惊叹于它的“聪慧”,仍旧无法理解整个过程,毕竟这和我们熟悉的思维模式大相径庭。

当然,我们在使用造物主的杰作时也有过类似体验。我们可能会发现,某些特定物质是一种有效药物或强力化学催化剂,却不清楚其原理。然而,在工程学以及大多数推动现代技术进步的努力中,我们的关注重点通常都放在建构那些设计结构和运转逻辑比较易于理解的事物上。

曾经,我们以为这就足够了。但在对计算型宇宙的探索中,我们发现这远远不够:只选择那些我们易于理解的事物,就会忽略计算型宇宙中的大多数巨大力量和丰富性。

现有技术的世界

当我们从计算型宇宙中挖掘出更多东西时,世界会变成什么样?今天我们构建的环境充斥着像简单形状和重复过程这样的东西。但我们越频繁地利用计算型宇宙,事物看起来就会越不那么寻常。有时,它们看起来像“有机物”,或者像我们在大自然中看到的东西(毕竟大自然遵循类似的规则)。但有时候它们看起来相当随机,直到有一天突然不可思议地达到了我们能够认知到的某种形态。

数千年来,人类作为一种文明,一直在探索周遭的道路上前进——无论是用科学解码自然,还是用技术创造环境。然而,要想利用计算型宇宙的丰富资源,我们就必须在一定程度上放弃这条道路。

过去人们都认为,和人类创造的工具相比,人类大脑拥有更强大的计算力,因此我们总能“理解”他们。但计算等价性原理表明这是错的:计算型宇宙中有很多东西和人类大脑或人造工具一样强大。一旦我们开始使用这些东西,我们就失去了所谓的“护城河(edge)”。

今天我们仍在想象,我们可以识别出程序中那些不相关的漏洞。但在计算型宇宙中,计算不可化约性遍地都是,人们唯一能够做的只是运行它,看看会发生什么。

人类本身作为一种生物系统,就是在分子尺度上进行计算的一个绝佳案例,我们身上同样遍布着计算不可化约性(这就是在一些基本层面药物难有成效的原因)。我想这是一种权衡:人们可以将技术运算限定在可被理解的层面上。不过,这无疑会错过计算型宇宙中的诸多丰富性。而我们甚至无法将自身的生物学成就在我们创造的技术中对应起来。

机器学习和神经网络的复兴

我注意到,知识领域存在一种普遍现象。在几十年、甚至几百年内,知识水平都在缓慢增长,之后由于某种方法论的进步,开始迈入5年左右的“高增长”时期,几乎每周都有重大成果面世。

非常幸运,我上世纪70年代刚进入粒子物理学研究领域时,正值该领域的飞速发展期。于我而言,上世纪90年代是我个人的一个高产期——《一种新科学》就是这么来的,事实上这也是我十多年都不舍得离开该领域的原因。

今天飞速发展的领域显然是机器学习,或者更具体地说是神经网络。我很高兴看到这一趋势。我在1981年就开始研究神经网络,甚至早于我开始使用元胞自动机和发现规则30。但我从没用神经网络做过任何有趣的研究,我认为它们过于复杂,无助于解决我关心的基本问题。

所以,我把它们简化后,利用元胞自动机做实验。(我受到了统计物理中伊辛模型等的启发,以此类推。)开始时,我认为简化过度了,小型元胞自动机无法进行有趣的实验。后来,我发现了规则30。自那以后,我一直试图深入理解它的含义。

在创建Mathematica(一款科学计算软件)和Wolfram语言(一种编程语言)时,我经常关注神经网络研究动态,偶尔也会用一些小方法来做一些算法。大约5年前,我听到一些让我惊讶的事:通过训练神经网络进行复杂运算的想法奏效了。起初我还不确定,后来我们开始尝试为Wolfram语言增加神经网络运算能力。两年前我们发布了imageidentify.com网站,现在我们已经有了一整套神经网络系统。是的,对此我印象深刻。一些传统上被视为只有人类才能完成的领域,现在已经可以利用计算机开展常规性工作了。

神经网络究竟是怎样运转的?它与大脑无关,只是灵感(尽管实际上它与大脑的工作方式可能多少也有些类似)。一个神经网络实际上是一系列对数组进行运算的函数,每个函数从数组中提取相当多的输入变量。它和元胞自动机没有什么不同。除了一点,那就是元胞自动机通常处理的不是像0.735一样的任意数字,而是像0和1这样规则的数字。此外,在元胞自动机中,每个步骤只从一个定义完整的局部区域获取信息,而不是从所有区域获取信息。

客观地说,现在“卷积神经网络(convolutional neural nets)”研究很常见,它的输入模式和元胞自动机同样有规律。人们逐渐发现,神经网络的运转并不依赖精确数字(比如32位),可能只需要几位数就够了。

神经网络的一大特征是,我们知道如何让它们“学习”。特别是,它们已经从传统数学中学到了许多功能(比如连续编号),无论提供什么样的训练集,都可以使用类似微积分这样的方法,使它们通过逐渐改变参数来适配行为。

目前还不清楚,需要多少计算量或者多少训练范例。但五年前的突破性发现表明,现代 GPU 和网络收集训练集已经足够用于解决许多重要的实际问题。

几乎没有人会在一个神经网络中最终明确地设置或“编程”得出一些参数。取而代之的是,它们会自动设定合适的参数。但不同于元胞自动机等简单程序(它们通常穷举所有可能性),神经网络有一种基于微积分的渐进过程,这会逐渐完善网络,类似于生物进化过程中逐步提高有机体“健康”的过程。

这种训练神经网络的方式效果显著,不过人们也很难理解其内在规律。但从某种意义上说,神经网络依旧大致遵循计算型宇宙的规律:它基本上保持相同的计算结构,并且通过改变参数来改变其行为。

于我而言,神经网络的成功是对计算型宇宙理论阐释力的认可,也是对《一种新科学》思想的另一种印证。因为它表明,在计算型宇宙中,只要摆脱详细行为能被预测的确定性系统的束缚,马上就能发现各式各样的丰富性和有用的东西。

符合现代机器学习理论的《一种新科学》

是否能在神经网络分析中用上计算型宇宙的全部力量和《一种新科学》的思想?对此,我表示怀疑。实际上,随着对细节的认知愈发清晰,我认为对计算型宇宙的探索将进入高速增长期:进入一个前所未有的繁荣时期。

在当前的神经网络研究中,存在一种明显的权衡。在神经网络内部,与简单函数(包含基本参数)相似的部分越多,就越容易用微积分的思路来训练网络。但是,神经网络与离散程序或者结构可变的计算越相似,其训练难度就越高。

值得一提的是,我们现在经常训练的网络在几年前来看是完全做不到的。正是这些数千万亿次的 GPU 高效运算才使得训练可行。即使在增量数值方法不可能到达的领域,有人用非常常见的技术(就比如说,本地全局搜索)做重要的训练,我也不会太惊讶。甚至有可能发明像微积分一样的主要归纳法,并运用在整个计算型宇宙中。(不过,基于对元胞自动机规则空间等事物的几何基本概念的概括性认识,我仍保有一些怀疑。)

人们能利用它做什么?或许会发现能实现特定计算目标的更简单的系统,也可能诞生超出我们目前可实现的(比如人类大脑范畴)的全新运算层次。

近期,有个关于建模的趣事。随着神经网络越来越成功,人们开始疑惑:当我们可以为神经网络的结果构建一个黑盒模型时,为什么还要费心模拟系统内部运转过程?如果我们设法让机器学习深入计算型宇宙中,我们就不必再费劲权衡了,它们已经能够学习其模型机制和结果。

我敢肯定,将完整的计算型宇宙引入机器学习范畴,将会带来惊人的后果。值得一提的是,计算普遍性和计算等价性原则会弱化它的原理性。因为这两个特性表明,即使目前通用型的神经网络也能模仿任何其他系统的功能。(事实上,1943年诞生的现代神经网络思想带来了这种普适性。)

作为一个实用性问题,当前的神经网络早期是建立在硬件上等事实,会使它们成为现行技术系统所需要的基础,即便它们远远不算最优解。我的猜测是,在可预见的未来,让有些程序可以访问完整的计算型宇宙是很有必要的,这也使得它们更加实用。

发现人工智能

实现人工智能需要怎样的条件?儿时,我喜欢研究如何让计算机知晓事物,并且能够回答它已知的问题。在我 1981 年学习神经网络时,这项兴趣也部分包含在我当时的所做的——试图理解怎样构建这样一个系统之内。碰巧,我那时刚刚开发了 SMP(一款数学软件),它是 Mathematica 的前身(最后演化为Wolfram语言),并且主要基于符号模式匹配(“假如看到A,则将A转换为B”)。当时,我想象人工智能是某种“更高层次的计算”,但是不知道如何实现它。

我时常思考这个问题,却一直没能解决。然而,当创作《一种新的科学》时,我突然想到:如果我真的相信计算等价性原理,那就不存在任何所谓“更高水平的计算”,因此人工智能必须依据现有水平的计算知识来实现。

正是这个认识让我着手开发 Wolfram|Alpha(一个“计算知识引擎”)。我发现,很多像自然语言处理这样“人工智能导向的东西”,只需“普通计算”就能完成,压根用不到任何神奇的新型人工智能发明。客观地说,事实的一部分就是:现在我们已经在使用《一种新科学》中的思想和方法:我们不仅仅在将所有事物程序化,而且常常在计算型宇宙中搜索规则和算法来使用。

那么能否普遍运用人工智能?基于目前所掌握的工具和知识,我们的确可以将我们可以定义的任何事物自动化。但问题在于,下定义是一件比我们想象中更困难、更核心的事。

我看待这一点的方式是,有很多已经很接近计算型宇宙的运算。它们是很强大的,可以和人类大脑相媲美。不过,除非它与人类的目标和动机相结合,否则我们便不认为这是一种“智力”。

自从开始写作《一种新科学》,我一直喜欢引用格言“天气有自己的想法”。这听起来像一种万物有灵论和先知论。不过计算等价性原理表明,根据多数现代科学理论来看,这种说法是正确的:气象流体力学和人类大脑中的电传导在计算复杂度上是相同的。

但是,它是“智能”的吗?当我和人们谈论《一种新科学》和人工智能时,我经常被问到何时能让机器诞生“意识”的问题。生命、智能、意识:它们都是人类在地球环境下提出的特定概念。那么,在普遍意义上它们究竟是什么?所有地球生命都有核糖核酸(RNA)和细胞膜。但这仅仅是因为我们所知的生命都是相关联的历史分支的一部分,并不意味着这些细节正是生命概念的根本要素。

智能也是如此。我们只有一个有足够说服力的例子:人类。(对动物我们都无法肯定。)但我们所经历的人类智能与人类文明、人类文化和生理结构都有着深刻的关联,尽管这些都和智能的抽象定义毫无关联。

我们也可能会想到外星智能。虽然计算等价性原理暗示我们周围其实存在“外星智能”,但它与人类智能并不完全一致。譬如,规则30就像人类大脑一样进行着复杂计算,但它对于自己正在计算的东西的意义似乎并不明确。

我们想象,人类行动总是包含特定目标和动机,而规则30只是按照限定规则在运转。不过,我们终将意识到,两者之间的差异并不大。毕竟,人类大脑同样被自然规律所支配着,某种程度上我们的行为也只是在遵循那些规则。

任何过程都可以用机械原理来描述(“石头遵循牛顿定律运动”),也可以用目标论来描述(“石头正在移动以最小化潜在能量”)。基于机械原理的描述在和科学产生关联时最有用,而基于目标论的描述在和人类智能产生关联时最有用。

这对于思考人工智能至关重要。我们可以构建出与任何事物复杂程度相当的计算系统,但我们能让它们去做符合人类目标和动机的事情吗?

从某种意义上说,这是人工智能的关键问题:重要的不是实现底层的复杂计算,而是如何从计算中实现我们想要的沟通。

语言的重要性

我一生大部分时间从事的是一名编程语言设计师的工作,其中最重要的成果就是创造了 Wolfram 语言。我一直将自己视作一个语言设计师,首先想象人们想进行什么样的计算,然后像简化论科学家一样,找到能用于建立计算的优质原语。但不知为何,在写作《一种新科学》和思考人工智能的过程中,我的思维方式逐渐改变。

现在,我认为自己正在人类思维模式和计算型宇宙的潜能之间架设一座桥梁。原则上,计算可以实现各种各样令人惊奇的事。编程语言,就是人类表达需求或目标,并尽可能使其实现自动化运转的一种方式。

编程语言设计必须从我们了解和熟知的内容开始。在 Wolfram 语言中,我们用英语单词命名内置原语(built-in primitives),利用这些单词已有的含义来引申。Wolfram语言与自然语言不同,它更加结构化,更加强大。它是基于人类共享的知识语料库,建立于我们熟知的词汇和概念之上。它给我们提供了一种建立任意复杂程序的途径,以便能有效指向任意复杂的目标。

计算型宇宙能做很伟大的事,但这些事未必都是我们人类能描述或与之产生联系的。但是,在构建 Wolfram语言的过程中,我的目标是尽最大努力挖掘人类所需的一切,并用可执行的计算术语来表达它。

当我们在观察计算型宇宙时,很容易被已有的表达方式或思维框架所局限。现代神经网络提供了一个有趣的例子。为了开发 Wolfram语言的图像识别功能,我们训练神经网络识别了上千种事物。为了满足人类的需求,神经网络最终得用可以被语言命名的概念来描述它看到的东西,譬如桌子、椅子、大象等等。

然而在神经网络内部隐含的操作逻辑是识别世界上任何物体的一系列特征。它是绿色的吗?它是圆的吗?等等。经过训练后,神经网络能鉴别出有助于分辨事物差异性的特征。问题在于,这些特征几乎都没有用人类语言指定过。

在计算型宇宙中,可以找到描述事物的绝佳方法,我们对此却十分陌生。基于人类文明的现有知识库,我们还无法表述他们。

当然,当前人类知识库也在不断添加新概念。一个世纪以前,人们还无法描述嵌套模式(nested pattern),而现在我们只用说“它是一个分形(fractal)”。关键在于,在计算型宇宙中,“潜在有用的概念”是无穷尽的,我们永远也不可能跟上它的步伐。

数学中的隐喻

写作《一种新科学》时,我把它视为打破数学的应用——至少是作为科学的基础的一种努力。不过,我意识到的事情之一就是,纯数学本身也对书中思想产生了很大影响。

什么是数学?它是一门基于数字、几何等来研究确定的抽象系统的学科。从某种意义上看,它探索的是所有潜在抽象系统组成的计算型宇宙的一小部分。但也不能否认数学对人类知识领域的巨大贡献:事实上,大约300万个已知的数学定理也许是人类构建的最大的体系性智力结构。

自欧几里得以来,人们至少在理论上认为数学先从某些公理(比如,a+b=b+a,a+0=a,等等)开始,然后再构建定理推导过程。数学为什么难?根源在于计算不可化约性现象,显而易见,我们无法简化定理的推导步骤。换句话说,数学得到的结果可能是任意的。更糟的是,正如哥德尔不完全性定理(Gödel’s Theorem)所论证的那样,数学已经证明某些系统内存在既不能证明也不能证伪的命题。这种情况被称为“不可判定性(undecidable)”。

从某种意义上说,数学之伟大就在于可以有用地去证明它。毕竟多数我们关注的数学结果都与不可判定性相关。那为何这种不可判定性不出现呢?

事实上,如果人们考虑随机抽象系统(arbitrary abstract systems),它出现得很多。以典型的元胞自动机或图灵机器为例,询问系统,是否无论其初始状态如何,均停止在周期性行为上。就连如此简单的事物,往往都呈现出不可判定性 。

为什么数学中不会出现这种情况?也许数学公理有其特殊之处。当然,假如有人认为数学是唯一描述科学和世界的工具,也许是出于某种特定原因。但本书主旨认为,计算型宇宙中有一整套潜在规则,可以用于科学研究和描述世界。

事实上,我并不认为数学传统中所使用的公理有任何普适意义:它们只是历史的偶然产物。

人们发明的数学定理又是怎样的?我认为它们同样是历史产物。除了最微小的区域之外,数学海洋中充满了不可判定性。但不知何故,数学偏爱挑选可以证实定理的岛屿,并且为自己处于靠近需耗费巨大努力方可证明的不可判定性之海的地方而自豪。

我对数学中已公布的定理的网络结构很感兴趣(这是一种有待整理的东西,像历史上的战争或化学物质的特性)。我很好奇,数学成果中是否存在固定序列,或者从某种意义上说,随机部分是被人为挑选出来的。

我认为,有相当多的类比可以用于理解我们之前讨论的关于语言的问题。什么是论证?基本上是一种向某人解释为何某事为实的途径。我已经做了各式各样的自动化论证,其间有成百上千个步骤,每个环节都能用计算机加以验证。但是,就好比一个神经网络的内部构造,这怎么看都很奇怪,人类难以理解。

如果一个人想要理解它,必须熟悉“概念性节点”(conceptual waypoints)。这更像是语言体系中的词汇。如果论证的某个特定部分有一个名称(如“史密斯定理”),并且拥有公认的含义,那么它对我们就是有用的。但如果这是一个无差别的计算组块,对我们而言就没有任何意义。

任何公理系统都包含一系列无穷可能的定理。哪一个是“有趣的”?这真是个独属于人类的问题。基本上,它们最终都会成为“有故事的定理”。我在这本书中指出,从符合基本逻辑的简单案例来看,历史上被视为有趣的命名定理在某种意义上恰恰是最微不足道的。

我猜测,对于更丰富的公理系统,“有趣”的东西必须来源于已经被视为有趣的事物。这就像建构一个单词或概念:除非将其与现有概念相联系,否则无法引入新概念。

近年来,我特别好奇像数学这样一个领域,究竟固步自封、缺乏进步到了何种程度。是否只能有一条历史演进路径——从算术到代数再到现代数学的更高成就?还是有无数种多样化的可能性,可以造就完全不同的数学史呢?

某种意义上,答案取决于“元数学空间的结构(structure of metamathematical space)”:也就是远离不可判定性汪洋大海的真实定理网络是什么?也许对不同的数学领域而言有一些差别,有些领域(认为数学是“被发现的”)会比其他领域(认为数学具有随机性,且数学可被“发明”)更“固步自封(inexorable)”。

但对我来说,最有趣的事情莫过于,当我们看待这些术语时,关于自然与数学特性的问题,最终和自然与人工智能的特性的问题是多么近似。正是这种共性使我意识到,《一种新科学》的想法是多么强大和普遍。

科学何时出现?

传统数学方法在物理学和天文学等科学领域的确发挥了重要作用,但在其它一些领域,如生物学、社会科学和语言学等却用途不大。长期以来,我一直坚信,要在这些领域中取得进展,必须要拓展目前使用的各种模型,站在更宏观的计算型宇宙中考虑问题。

的确,过去15年间,这种做法也逐渐取了一些成功。比如,有许多生物和社会系统都在使用由简单程序构建的模型。

不同于呈现为“可解决状态”的数学模型,进行精确模拟后,计算模型通常呈现出计算不可化约性。这可以成功做出特定预测或应用于技术模型。但这有点像数学定理的自动化论证,人们可能会问:“这真的是科学吗?”

是,人们可以模拟系统行为,但是否能“理解”它呢?在某种意义上,计算不可化约性意味着人们并不总是能够“理解”事物。在计算模型中,可能没有有用的“故事”可讲,也可能没有“概念性节点”,只有大量的详细计算。

想象一下,某人正在努力研究大脑如何理解语言——这是语言学的一大目标。也许我们会得到一个精确模型,发现一些决定神经元放电或低水平大脑表现的精确规律。然后我们来看看,在理解整个句集时产生的特定模式。

如果这些模式看起来像规则30的行为呢?或者像循环神经网络的内部结构?我们能讲一个发生了什么的故事吗?要做到这一点,就必须创建某种更高级的符号表示法:在这里有效产生了能表示事件的核心元素的词汇。

然而,计算不可化约性意味着可能没法创造这些东西。虽然它总能发现一个计算可归约性(computational reducibility),从而使人们可以陈述一些东西。但不会存在一个完整的故事。可能有人会说,这些可归约的科学事实没用。不过,这只是当人们使用(如标题所述)《一种新科学》时会碰到的麻烦之一。

控制人工智能

近年来人们很担心人工智能。他们想知道,当人工智能“比人类更聪明”时会发生什么。计算等价性原理带来一个好消息:从基本层面来说,人工智能永远不会“更聪明”——它们只能进行和人类大脑层次相当的运算,这和简单程序在做的事一样。

当然从实际来讲,和人类大脑相比,人工智能确实可以更快地处理大量数据。我们也会让它们替人类处理许多事物,比如从医疗设备到中央银行再到运输系统等。

那么重要的是,我们该如何指导它们做事。一旦我们开始真正应用计算型宇宙,就不可能给人工智能“手把手式”的教导。而是我们只需要为人工智能设定目标,让它们自己找出实现这些目标的最佳路径。

从某种意义上说,我们已经用Wolfram语言这样做很多年了。有一些用来描述任务(诸如画图、数据分类等)的高级功能,之后编程语言会自动寻找最优解完成任务。

最终,真正的难题是找到一种描述目标的方法。比如,你想寻找一个元胞自动机,用于制作“漂亮的地毯图案”或者“好的边缘检测器”,但这些东西究竟意味着什么?你需要的是一种能帮人类尽可能准确传递其意图的语言。

这和我之前谈过的问题差不多。人们必须找到一种可以相互间讨论我们关心的事的方式。计算型宇宙中有无限多的细节。但是通过人类文明和共通的文化历史,我们可以找出一些重要概念,并用它们来表述目标。

三百年前,像莱布尼茨这样的人热衷于寻找一种精确的象征性方式来呈现人类思想和人类话语。他太超前了。直到现在,我们才胜任这项任务。事实上,我们花了很长时间才让Wolfram语言能够描述真实的世界。我希望能建立一个完整的“象征话语体系”,帮助我们谈论我们关注的事。

今天,我们只是用比日常用语更精确一点的法律术语撰写法律合同。但是用象征语言,我们可以撰写真正的“智能合约(smart contracts)”,用高级术语描述我们的目标,随后机器便可以自动验证或执行合约。

那人工智能呢?我们要告诉它们,我们希望它们做什么。我们需要和它们签订合约,或许还得为它们制定章程。这些文件都建立在某种象征语言之上,它既允许我们表达目标,也能交由人工智能执行。

关于人工智能章程应该包含什么,以及如何构建它,从而反映世界政治和文化景观,有很多值得探讨之处。其中一个显而易见的问题是:人工智能章程能会像阿西莫夫的机器人三定律那样简单吗?

《一种新科学》中蕴藏着答案:不可能。从某种意义上说,章程是一个描述世界的可能性与不可能性的尝试。然而计算不可化约性表明,这需要收集无穷多的分析案例。

我觉得这很有趣,计算不可化约性等理论最终和一些很实际且核心的社会问题相冲突。一切都始于对理论可能性的理论探索,最终却演变为社会上每个人都要关心的问题。

无穷尽的前沿

我们会达到科学的终点吗?我们——或者人工智能——最终会发明出一切需要发明的东西吗?

对于数学,很容易发现我们能构造出无穷个定理。对于科学,也有无数详细问题要问。同时,还有无数发明等待我们去创造。

但问题在于:有趣的新事物总会一直存在吗?

计算不可化约性表示,通过对旧事物进行大量不可化约的计算后,总会发现新事物。因而从某种意义上说,我们总会发现“惊喜”,但并不会从旧事物中立即浮现出来。

它只是像不同形状的怪岩一样无穷无尽?还是会出现一些人类认为有趣的新特征?

又回到了我们曾遇到过数次的问题:对人类而言,我们必须基于可用于思考某个事物的概念框架来发现有趣的事物。的确,我们可以在元胞自动机中找到一个“永久结构”,然后开始谈论“结构间的碰撞”。但当我们看到一堆乱七八糟的东西时,除非用更高层次的象征性的方式来谈论它,否则并不会感到“有趣”。

从某种意义上说,“发现有趣”的速度不会受到人类进入计算型宇宙和发现事物能力的限制。相反,它将被人类为发现的新事物建构概念框架的能力所制约。

这类似于《一种新科学》形成过程中正在发生的事。人们看到这些(http://www.wolframscience.com/nks/p42–why-these-discoveries-were-not-made-before/)(素数分布、圆周率位数等)。但如果没有相应的概念框架,它们看起来并不“有趣”,也不会存在以它们为核心建构的事物。事实上,当我更加了解计算型宇宙——甚至是我很久以前看到的东西——我逐渐建立起支撑我走得更远的概念框架。

此外,需要指出发明(inventions)与发现(discoveries)有一定差别。人们在计算型宇宙中看到一些新东西,这是一种发现,而如何利用计算型宇宙实现某种目标才是一项发明。

而且像专利法一样,如果你只说“看,这就行了”,那算不上真正的发明。你必须以某种方式理解它达成的目标。

在过去,发明过程的重点往往是让某个东西开始工作(发明让灯泡亮的灯丝等等)。但在计算型宇宙中,重点转移到了发明目的上来。因为一旦你描述了目标,就可以自动化地找到一种实现路径。

这并不意味着它总是很容易。事实上,计算不可化约性意味着它相当困难。比如,你知道某些化学物质相互作用的精确规律。你能找到一种化学合成路径,进而发现某种特定的化学结构吗?可能有一种方式,但计算不可化约性同时表明,我们可能无法弄明白这条路究竟有多长。如果还没找到,那你可能永远也无法确定究竟是因为不存在,还是因为尚未找到。

物理学基本原理

如果一个人想探索科学的边界,他估计会怀疑物理学的基本理论。考虑到我们在计算型宇宙中看到的一切,物理世界是否和计算型宇宙中的某个程序存在对应关系?

当然,除非找到它,否则我们便无法真正了解它。但自从《一种新科学》出现后,我对这种可能性越来越乐观。

无疑这将是物理学的一大变化。如今,有两个主流基本物理框架:广义相对论和量子场论。广义相对论提出已经超过100年了,而量子场论估计也超过90年了。它们都取得了巨大的成就,但都未能提供一个完整的物理学基本理论。我想,现在已经是时候迈出新步伐了。

但还有一件事:在探索计算型宇宙的过程中,即使基于非常简单的模型,我们也会迸发出大量关于可能性的灵感。我们可能认为,物理学的丰富性必须基于一些非常复杂的基础模型。但目前来看,即使是非常简单的底层模型也能很好地生成复杂性。

底层模型可能是什么样的?我不打算展开讨论很多细节,只想强调一点,底层模型应该尽可能少地嵌套。我们不能自大地认为已经理解了宇宙构造;我们应该使用尽可能非结构化的通用模型,按照计算型宇宙的逻辑去运行:搜索一个能实现任务目标的程序。

我最喜欢的非结构化模型是网络:它只是一个链接节点的集合。它们完全有可能形成一些类似代数结构的模型,也可能形成一些其他的东西,但都可以被视作一种网络。按照我的设想,它是一种时空表层之下的网络:我们已知的时空表征都必须从该网络的实际行为中显现出来。

过去的十年里,人们越来越关注循环量子引力(loop quantum gravity)和自旋网络(spin networks)。它们和我一直在做的事一样,都涉及到网络,也许两者间还有更深的关联。但在通常的表述中,他们更像是一种数学式的复杂。

从传统物理学方法的角度来看,这是个好主意。但是,基于从研究计算型宇宙而来的直觉,而且将其应用于科学和技术,似乎就完全没必要。的确,我们尚未彻底理解物理学的基本理论,但可以理解最简单的假设。它和我研究过的简单网络特别相似。

一开始,对经过传统理论物理训练的人(包括我自己)来说,这显得很陌生。不过,还是有一些东西并非那么陌生。大约20年前,我有一个大发现(至今还未被广泛接受),当你看到一种我研究过的巨型网络时,你可以证明它的平均行为遵循爱因斯坦重力方程(Einstein’s equations for gravity)。换句话说,即使不在基础模型中置入任何精致的物理定律,它也会自动出现。这个发现特别让人激动。

人们对量子力学提出了很多问题。的确,我的基本模型并未建立在量子力学上(正如它不建立在广义相对论上一样)。目前要确定“量子力学”的本质比较困难,不过也有一些潜在迹象表明,我的简单网络最终表现出了量子行为——就像我们所熟知的物理学一样。

假如,由无数可能的程序构成的计算型宇宙中存在基础物理理论,那我们该如何寻找呢?显然,应该从最简单的程序开始搜索。

在过去的15年里,我一直在做这件事,虽然频率低于我的预期。到目前为止,我的主要发现是,很容易找到那些并非显然不属于我们宇宙的程序。有很多程序的时空表征与我们这个宇宙差异很大,或者还表现出其他异常。但事实证明,找到并非明显不属于我们这个宇宙的替代宇宙并不困难。

但计算不可化约性给我们出了个难题。我们可以通过数十亿个步骤模拟替代宇宙,但并不清楚它会朝什么方向演变,是否会成长为我们这样的宇宙,或者完全不同。

我们不太可能仅仅通过宇宙初始时的片段状态,就能发现任何熟悉的东西,比如说光子。因此,我们很难构造一种描述性的理论或者强有力的物理学。但从某种意义上说,这和我们在神经网络等系统中面临的问题出奇地类似:那里有计算过程,但我们是否能识别出“概念性节点”,并从而建构一个可以理解的理论?

我们的宇宙是否必须在那个层面上可被理解这个问题我们并不清楚,而且我们可能在很长一段时间里都处于一种奇特状态中,自认为在计算型宇宙中发现了人类宇宙,却又不敢肯定。

当然,我们也许足够幸运,推演出了一个有效的物理系统,并通过我们发现的小程序重建整个宇宙。这是个非凡的科学时刻,但又会引发一系列新问题,比如为何是这一个宇宙,而非另一个?

装有一兆个灵魂的盒子

现在,我们人类是以一种生物系统的形式存在的。但在未来,肯定会在技术上以一种数字或者说计算型的形态再现人类大脑的所有过程。因此,只要这些过程能代表人类,就可以在所有计算层面上实现人类的“虚拟化(virtualized)”。我们可以想象,这样发展下去,未来整个文明形态可能会演变成“装有一兆个灵魂的盒子(box of a trillion souls)”。

盒子里面会以各种计算形式,展现那些“虚拟灵魂”的思想和经历。这些计算反映着宏伟的人类文明,以及我们的一切经历。但在某种程度上,它们并不算多么特殊。

也许会让人类有点失望,毕竟计算等价性原理已经表明,这些计算并未呈现出比其他系统更复杂的计算性——即使与简单计算相比也是如此——同时也没有呈现出复杂恢弘的文明历史。的确,细节蕴含所有历史。但从某种意义上说,不知道寻找何物或关心何物,你就不能说它有什么特殊之处。

好吧,但是“灵魂”本身呢?人们是否可以通过观察他们实现的特定意图来理解其行为?在目前的生物形态中,人类有各种各样的限制和特征,它们赋予我们目标和意义。但在虚拟的“上传”形态中,大多数都会消失。

我曾经思考过,在这种情形下,“人类”的意图会如何演化。当然,在虚拟化形态下,人类和人工智能之间差异不大。未来也可能会让我们失望,“虚拟灵魂”的未来文明为了消磨永恒时光而陷入“玩游戏”效应的陷阱。

我逐渐认识到,用我们目前对目标和意义的认识来理解未来是行不通的。想象一下,回到一千年前,给古人解释未来的人们每天都在跑步机上行走,或不断地给朋友发照片。关键在于,除非相应的文化框架已经形成,否则这些活动便没有意义。

当我们试图描述什么是有趣的或可解释的时,会再次发现这些都依赖于一整套“概念性节点”网络的发展。

我们能想象100年后数学的模样吗?它建立在我们不知道的概念上。同理,未来人类的动机也依赖于某些未知的概念。站在今天的人类视角,我们能做出的最好描述,或许是那些“虚拟灵魂”只是在“玩游戏”而已。但是对于未来人类而言,可能存在一整套微妙的动机结构,让他们能通过回溯历史文化发展的每一步来理解。

此外,如果我们了解物理学基本理论,随后完成虚拟化,那么至少在原则上:我们可以模拟“虚拟灵魂”宇宙的运转。如果这样可行,那就没什么理由必须对人类宇宙进行模拟,它可以模拟计算型宇宙中的任何宇宙。

正如我提到的,即使在任何宇宙中,也永远不会出现“事情都做完了”和“没什么可发现的了”这样的情况。但我有一些奇思妙想,那些“虚拟灵魂”不会满足于只存在于人类物理宇宙的模拟版本中,可能更乐于(无论这对他们意味着什么)走出牢笼,去探索更广阔的计算型宇宙。因而从某种意义上说,人类未来将是一个无穷尽的探索之旅,而这一切无疑会出现在《一种新的科学》所讨论的语境中。

计算型宇宙的经济学

很久以前,我们就被迫思考“虚拟灵魂”的问题。我们面临着一种窘境,在人工智能完成大部分劳动的世界里,人类应该做什么。从某种意义上说,这个问题并不新鲜:它只是科技和自动化发展的延伸。但不知为何,这次感觉非同寻常。

我认为原因在于,计算型宇宙中有那么多丰富、易得的事物。我们可以打造一台能自动完成任务的机器。我们甚至可以建造一台通用计算机,通过编程来完成多样化任务。然而,即使这些自动化程序拓展了人类行动的界限,人类仍旧得在其中投入许多精力。

现在不一样了,我们只要明确任务目标,剩下一切都会自动完成。各种各样的计算(也就是所谓的“思考”)可能即使没有人类的介入也会持续进行。

乍看之下,似乎不太对劲。未经耕耘,怎能丰收?这有点像问大自然是如何自身拥有复杂性的。要知道,我们耗费巨大精力制造的物品,本身也并不太复杂。我认为,答案是它正在对计算型宇宙进行挖掘。对我们而言亦是同理:通过挖掘计算型宇宙的潜能,我们基本上达到了无限的自动化水平。

当今世界上的许多重要资源仍然依赖于物质材料,这些材料通常从地球中开采出来。当然,一些地理和地质上的偶然性决定了合适的开采人员和开采地点。此外,可供开采的资源数量也是有限的。

然而,计算型宇宙的资源却是取之不尽用之不竭的,任何人都可以开采。在开采方面虽然存在一些技术性问题,不过也有一大堆优秀的开采技术。计算型宇宙拥有面向全球的无限资源,不存在稀缺性,更不“昂贵”。

计算思维之路

上个世纪最伟大的智力转变,或许是计算思维方式的出现。我常说,从考古学到动物学的范畴内,只要一个人在其中任选一个“X”领域,那么“计算型X”领域也将马上或很快出现,而这些“X”领域必将代表各自学科的发展方向。

我一直在努力尝试发现这样的计算领域,开发Wolfram语言便是一例。不过,我对元问题也很感兴趣:应该如何传授抽象的计算思维,比如教给孩子们?作为一种实用工具,Wolfram语言无疑非常重要,但其概念、理论和基础又是怎样的?

这就是《一种新科学》诞生的缘由。它主要讨论纯粹抽象的计算现象,而非在特定领域或任务中的应用。这有点像初等数学:只是通过引入数学思维来促进教学和理解,无关具体应用形式。《一种新科学》的核心也是如此。我们需要知道,看重直觉和引入计算思维模式的计算型宇宙与具体的应用程序无关。

人们可以把它看作是一种“前计算机科学(pre computer science)”或“前计算型X(pre computational X)”,在讨论计算过程的具体细节之前,人们可以只研究计算型宇宙中简单而纯粹的事物。

确实,在孩子学会算术之前,他们也完全可以做一些像元胞自动机填色卡片书之类的东西,自己执行或者在计算机上运行一些简单程序。这能教会他们什么吗?其实,它教导孩子们学会为事物定义规则或设计算法,让他们知道使用它们会带来一些有用且有趣的结果。同时,它让像元胞自动机这样的系统生成一种视觉模式,比如,人们甚至可以在自然界中找到这些原型(就像软体动物的壳)。

随着世界更加计算化——更多事情可以被人工智能和对计算型宇宙的挖掘完成——不仅理解计算思维变得极具价值,在探索计算型宇宙中养成的直觉也变得非常重要。在某种意义上,这种直觉是《一种新科学》的根基。

还有什么要弄清楚的?

在写作《一种新科学》的10年时间里,我的目标是尽可能回答所有关于计算型宇宙的“显著性问题”。站在15年后回顾,我自认为做的不错。事实上,如今在考虑该用计算型宇宙做些什么时,我发现自己很可能已经在书或者笔记里谈论过了。

过去15年中最大的变化之一,是我逐渐更深入地了解了这本书的意义。书中有许多具体的概念和创见。但从长远来看,我认为最重要的是,它们作为应用和概念的根基,如何帮助人们理解和探索一系列新事物。

但即使在计算型宇宙的基础科学方面,人们仍然希望获得一些具体的结果。比如,试图发现更多证据来证实或证伪计算等价性原理及其适用性。

像大多数科学一般原理一样,计算等价性原理的认识论地位比较复杂。它是一个可被证明的数学定理吗?它是宇宙的自然法则吗?或者说它是一种对计算概念的定义?或许可以说,它更像热力学第二定律或自然选择学说,是这些的结合。

但有一点很重要,那就是发现具体的证据来证明(或证伪)计算等价性原理。该原理表明,即便简单规则系统也应能进行任意复杂的运算,因而它们也可以充当通用计算机。

事实上,这本书的主要结论发现,该原理也适用于最简单的元胞自动机(规则110)。该书出版五年后,我决定为另一项证据设立奖项:能想到的最简单的通用图灵机(universal Turing machine)。我很高兴短短几个月内就有人获奖,图灵机被证明是通用的,此外还发现了一些证实计算等价性原理的证据。

在推进《一种新科学》的应用上还有很多事要做。比如,有待建立的适用于各种系统的模型,有待发现的技术,有待创造的艺术,要理解这些含义还有许多工作要做。

但很重要的是,不要忘记对计算型宇宙进行纯粹理论研究。以数学类比的话,应用数学值得追求,“纯粹数学(pure mathematics)”同样有探索的巨大价值。计算型宇宙也是如此:需要探索很多抽象层次的问题。正如书名所暗示的,现在已经可以定义一门新学科了:一门纯粹的计算型宇宙科学。我认为《一种新科学》的核心成就开启了一门新学科,我将其视为自己的最大成就。

本文首发于Stephen Wolfram的博客。


翻译:自天然;校对:tangcubibi;编辑:EON
Share
Written by
Stephen Wolfram -

英国科学家,UIUC兼职教授,美国数学协会院士,以粒子物理学、元胞自动机、宇宙学、复杂性理论、计算机代数系统上的研究成果闻名于世。代表作《一种新科学》。

4 Comments

  • 「从某种意义上说,“发现有趣”的速度不会受到人类进入计算型宇宙和发现事物能力的限制。相反,它将被人类为发现的新事物建构概念框架的能力所制约。」

    我想要修正一下翻譯,因為原文其實還滿簡單的。
    全文只有這一段非常的拗口,不該translate by its literal meaning。

    In a sense, then, the rate of “interesting discovery” isn’t going to be limited by our ability to go out into the computational universe and find things. Instead, it’s going to be limited by our ability as humans to build a conceptual framework for what we’re finding.

    或許可以這樣說,我們找出「有趣發現」的速率,並不會被人類探索可計算宇宙的能力所侷限。實際上的侷限,來自於人類能不能給我們找出的新發現套上(有意義的)概念框架。

    感謝貴網站與編輯、譯者們的翻譯!Wolfram的思想令人感到振聾發聵。

  • A 2016 review of creature research studies signified that cannabidiol has prospective as an anxiolytic for relief of anxiety-related ailments and concern. THC is actually accurately medicinal– thousands of medical tests have actually illustrated that THC has outstanding and also really pertinent therapeutic residential or commercial properties. Looks likea lot people want to know more Perhaps one of the coolest traits about Gracias Madre is that it has some of one of the most outstanding beverages on the market. And if you resemble most people, odds are your anxiousness can easily increase coming from Monday to Friday. Cannabidiol, or even CBD, is only some of over a hundred cannabinoid substances located in marijuana.

  • 【近期,有个关于建模的趣事。随着神经网络越来越成功,人们开始疑惑:当我们可以为神经网络的结果构建一个黑盒模型时,为什么还要费心模拟系统内部运转过程?如果我们设法让机器学习深入计算型宇宙中,我们就不必再费劲权衡了,它们已经能够学习其模型机制和结果。

    我敢肯定,将完整的计算型宇宙引入机器学习范畴,将会带来惊人的后果。值得一提的是,计算普遍性和计算等价性原则会弱化它的原理性。因为这两个特性表明,即使目前通用型的神经网络也能模仿任何其他系统的功能。(事实上,1943年诞生的现代神经网络思想带来了这种普适性。)】

    这翻译看得我好累,原文意思清晰很多。下面是按照原文意思修改的一段:

    【近期,有个关于建模的趣事。随着神经网络越来越成功,人们开始疑惑:当我们可以把一个系统看作黑盒模型,并用神经网络模拟出这个系统的输出时,为什么还要费心去搞清楚系统内部发生了什么呢?如果我们设法让机器学习和计算型宇宙的思想相融合,就可以摆脱上文所述的权衡难题,因为我们能够像神经网络学习一个模型的输出一样,学习得到一个模型内部的运行机制。

    我敢肯定,将完整的计算型宇宙引入机器学习范畴,将会带来惊人的成果。值得一提的是,计算普遍性和计算等价性原则会弱化这一创新的原理性。因为这两个特性表明,即使目前通用型的神经网络也能模仿任何其他系统的功能。(事实上,1943年诞生的现代神经网络思想带来了这种普适性。)】

    感谢翻译,但请拒绝机翻,至少机翻完后手动改得通顺一点。

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注