液态神经网络：机器学习的未来？

人工智能研究人员在神经网络（一种粗略模拟人脑结构的计算机程序）上取得了一系列的成功。但尽管进展迅速，神经网络仍然相对不灵活，几乎不能在运行时做出改变或适应陌生环境。

在2020年，麻省理工学院的两名研究人员带领团队推出了一种基于现实生活中的智能、而非人工智能的新型神经网络^[1]。他们从微小的秀丽隐杆线虫（Caenorhabditis elegans）中汲取灵感，创造了所谓的 “液态神经网络” （liquid neural networks）。经过在2022年的突破，这种新型网络现在或许已足够灵活，足以在某些应用中取代传统的神经网络。

加州大学伯克利分校的机器人学家肯•戈德伯格（Ken Goldberg）表示，“液态神经网络提供了一种优雅而简洁的替代方案。”他还表示，实验已经表明，这些网络可以运行得比其他所谓的连续时间神经网络（continuous-time neural networks，一种对随时间变化的系统进行建模的网络）更快、更准确。

这项新设计的主力成员拉敏•哈萨尼^[2]（Ramin Hasani）和马蒂亚斯•莱希纳^[3]（Mathias Lechner）多年前就意识到，如果以制造能够适应意外情况的弹性神经网络为目标，线虫可能是最理想的模型生物。线虫长约一毫米，为底栖生物（于水体下层觅食的生物），是为数不多人类已经完整绘制出其神经元连接的生物之一，它能展现出一系列高级行为：移动、寻找食物、睡觉、交配甚至通过经验学习。莱希纳说：“它生活在多变的现实世界中，几乎在任何条件下都可以表现得很好。”

抱着对这种不起眼的线虫的尊重，他和哈萨尼研究出了他们的新型液态神经网络。网络中每个神经元都由一个方程控制，该方程预测其随时间而变化的行为。这些方程相互关联，就像互相连接的神经元一样。该网络主要在求解一整个互相关联的方程组，使其能够表征系统在任何给定时刻的状态——这与传统神经网络的非常不同，后者只给出在特定时刻的结果。

莱希纳说：“传统神经网络只能告诉你在第一秒、第二秒或第三秒时发生了什么。但我们这样的连续时间模型可以描述在第0.53秒、2.14秒或其他你选择的任何时间正在发生的事情。”

液态网络在处理人工神经元之间的突触连接时也有所不同。在标准神经网络中，这些连接的强度可以用一个数字（权重）表示。在液态网络中，神经元之间的信号交换是一个由“非线性”函数表示的概率过程，这意味着对输入的反应并不总是成比例的。例如，输入量的翻倍所导致输出量改变不一定翻倍，而是可大可小。这种内在的可变性是这些网络被称为“液态”的原因。神经元的反应可能会因其接收到的输入而异。

传统网络的核心算法是在训练期间设置的，这期间这些系统会接受大量的数据，从而校准其权重的最优值。而液态神经网络有更强的适应性。“它们能够根据观察到的输入改变其基本方程，从而改变神经元响应的速度。”麻省理工学院计算机科学与人工智能实验室主任达尼埃拉•鲁斯（Daniela Rus）说道。

为了展示这种能力，一项早期的测试试图用液态神经网络来驾驶自动驾驶汽车。传统神经网络只能以固定时间间隔分析汽车摄像头的视觉数据。而由19个神经元和253个突触组成的液态神经网络（按照机器学习的标准来说，它可以称得上是微型）可以更加灵敏地响应^[4]。关于液态神经网络的这几篇论文的合著者之一鲁斯说：“我们的模型可以在诸如蜿蜒路段等情况下更频繁地采样。”

莱希纳说，该模型成功地让汽车保持在车道上，但它有一个缺陷：“它速度非常慢。”问题源于表示突触和神经元的非线性方程——如果不进行重复计算，计算机无法得到这些方程的解，于是它们需要迭代（iterate）才能最终收敛得到解决方案。这通常由被称作求解器的专用软件包对每个突触和神经元单独进行处理。

在2022年，该团队在一篇论文^[5]中揭示了一种新的液态神经网络以克服这一瓶颈。这个网络依赖于相同类型的方程，但他们提出了一项关键进展：哈萨尼发现，这些方程不需要通过繁琐的计算机计算来解决。相反，该网络可以使用近乎精确的或“闭合式”（closed-form）的解决方案来运行。这种闭合解原则上可以通过笔和纸来解决。通常，这些非线性方程没有闭合解，但是哈萨尼想出了一个足够好的近似解来替代。

鲁斯说：“有一个闭合解意味着你可以在方程内直接插入参数值进行基本的计算，从而得到一个答案。你可以通过一次计算就得到答案，而不是让计算机不断计算直到最终答案接近正确的结果。这减少了计算时间和能耗，从而极大地加快了计算过程。”

伊利诺伊大学厄巴纳香槟分校的计算机科学家萨扬•米特拉（Sayan Mitra）说：“他们的方法在不牺牲准确性的情况下，比竞争对手快了几个数量级。”

哈萨尼表示，他们最新的网络不仅速度更快，而且异常稳定，这意味着系统可以处理大量的输入而不至于失控。“这项研究最主要的贡献是，单凭该网络的结构，就足以将稳定性和其他性质纳入这些系统中。”科罗拉多大学博尔德分校的计算机科学家斯里拉姆•桑卡拉纳拉亚那良（Sriram Sankaranarayanan）说道。液态网络似乎在它的最佳位置上运行：它们的复杂程度足以让有趣的事情发生，却不会太过复杂，以至于导致混乱的行为。

目前，麻省理工学院的小组正在一架自主飞行无人机上测试他们最新的网络。虽然该无人机是针对森林导航进行训练的，但他们已将其转移到了剑桥的城市环境中，以观察其在新条件下的表现。莱希纳表示初步的结果十分鼓舞人心。

除了完善当前的模型外，该团队还在努力改进其网络的结构。莱希纳说：“下一步是确定我们需要多少个，或者说至少需要多少个神经元来执行给定的任务。”该团队还希望设计一种连接神经元的最佳方式。目前，每个神经元都与其他所有神经元相连，但这不是线虫神经系统的工作方式——它们的突触连接更具选择性。通过进一步研究线虫的神经元连接系统，他们希望能确定哪些神经元应该被关联在一起。

除了像自动驾驶和飞行等应用外，液态神经网络似乎非常适合分析电力网、金融交易、天气等其他随时间波动的现象。此外，哈萨尼表示，液态神经网络的最新版本能被用来“以之前无法实现的规模进行大脑活动模拟”。

米特拉对这种可能性十分感兴趣。他说：“从某种意义上说，这有些诗意。这意味着该研究正在形成一项闭环。神经网络的发展正在将我们从自然界中汲取的灵感转化为对自然更先进的理解。”

后记

Lemon：这种受“虫脑”信息处理启发的人工神经网络结构的特点是高度灵活和适应性强，这也正是目前人工神经网络正面临的挑战。就像线虫能够根据环境变化而做出不同反应，“液态神经网络”也能根据输入和任务的变化实时改变其结构和功能，从而在自动驾驶等应用中表现出良好的性能。生物的大脑无疑是人工智能领域里一种让人兴奋的参考对象。

殷尚墨羽：“液态神经网络”是一种很有创意的尝试，它和传统人工神经网络的区别，有些类似于“模拟信号”和“数字信号”的关系：前者精确而连续地反映信号的真实强度，后者则用离散采样的方式高效地编码信号。在特定的计算场景下，模拟信号仅仅基于基本的物理/数学定律，就能发挥数字信号需要通过大量编程才能达到的效果，我想文中“液态神经网络”可能也类似。期待看到它解决更多的实际问题。

参考文献

[1] https://arxiv.org/abs/2006.04439

[2] https://www.csail.mit.edu/person/ramin-hasani

[3] https://mlech26l.github.io/pages/

[4] https://www.nature.com/articles/s42256-020-00237-3

[5] https://www.nature.com/articles/s42256-022-00556-7

作者：Steve Nadis | 译者：Lemon | 审校：殷尚墨羽 | 编辑：M.W. | 封面：Kristina Armitage | 排版：盐 | 原文：https://www.quantamagazine.org/researchers-discover-a-more-flexible-approach-to-machine-learning-20230207/