在当前的人工智能 (AI) 领域，围绕大型语言模型 (LLM) 的讨论引发了一场创建规模越来越大的神经网络的竞赛。然而，并非每个应用程序都能支持超大型深度学习模型的计算和内存需求。
这些环境的限制导致了一些有趣的研究方向。液体神经网络是由麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究人员开发的一种新型深度学习架构，为某些人工智能问题提供了紧凑、适应性强且高效的解决方案。这些网络旨在解决传统深度学习模型的一些固有挑战。
什么是液体神经网络？
麻省理工学院 CSAIL 主任 Daniela Rus 告诉 VentureBeat：“液体神经网络的灵感来自于思考现有的机器学习方法，并考虑它们如何与机器人和边缘设备提供的安全关键系统相适应。” “在机器人上，你无法真正运行大型语言模型，因为实际上没有计算[能力]和[存储]空间。”
Rus 和她的合作者希望创建既准确又计算高效的神经网络，以便它们可以在机器人的计算机上运行，而无需连接到云。
与此同时，他们受到了对小型生物体中发现的生物神经元的研究的启发，例如线虫，它用不超过 302 个神经元执行复杂的任务。他们的工作成果是液体神经网络（LNN）。
液体神经网络与传统深度学习模型的显着不同。他们使用计算成本较低的数学公式，并在训练过程中稳定神经元。LNN 效率的关键在于它们使用动态可调的微分方程，这使得它们能够在训练后适应新的情况。这是典型神经网络中不具备的功能。
“基本上，我们所做的就是通过两个见解来提高神经元相对于现有模型的表示学习能力，”Rus 说。“首先是一种表现良好的状态空间模型，可以提高学习过程中神经元的稳定性。然后我们在突触输入上引入非线性，以提高模型在训练和推理过程中的表达能力。”
LNN 还使用与传统神经网络不同的接线架构，并允许在同一层内进行横向和循环连接。基础数学方程和新颖的接线架构使液体网络能够学习连续时间模型，从而动态调整其行为。
“这个模型非常有趣，因为它能够在训练后根据它看到的输入进行动态调整，”Rus 说。“它观察到的时间常数取决于它看到的输入，因此通过神经元的这种表述，我们拥有更大的灵活性和适应性。”
液体神经网络的优点
LNN 最显着的特征之一是它们的紧凑性。例如，经典的深度神经网络需要大约 100,000 个人工神经元和 50 万个参数来执行诸如将汽车保持在车道上等任务。相比之下，Rus 和她的同事只需 19 个神经元就能训练 LNN 完成相同的任务。
罗斯说，尺寸的显着减小会产生几个重要的后果。首先，它使模型能够在机器人和其他边缘设备中的小型计算机上运行。其次，神经元更少，网络变得更容易解释。可解释性是人工智能领域的一个重大挑战。使用传统的深度学习模型，可能很难理解模型如何得出特定决策。
“当我们只有 19 个神经元时，我们可以提取与放电模式相对应的决策树，本质上就是具有 19 个神经元的系统中的决策流程，”Rus 说。“我们不能为 100,000 或更多人这样做。”
LNN 解决的另一个挑战是因果关系问题。传统的深度学习系统经常难以理解因果关系，导致它们学习与它们正在解决的问题无关的虚假模式。另一方面，逻辑神经网络似乎能够更好地掌握因果关系，从而能够更好地泛化到未见过的情况。
例如，麻省理工学院 CSAIL的研究人员训练了 LNN 和其他几种类型的深度学习模型，用于对夏季在树林中拍摄的视频帧流进行对象检测。当训练好的 LNN 在不同的设置中进行测试时，它仍然能够以高精度执行任务。相比之下，当设置改变时，其他类型的神经网络的性能会显着下降。
罗斯说：“我们观察到，只有流动网络仍然能够在秋季和冬季完成任务，因为这些网络专注于任务，而不是任务的背景。” “其他模型未能成功解决该任务，我们的假设是，这是因为其他模型很大程度上依赖于分析测试的背景，而不仅仅是分析任务。”
从模型中提取的注意力图表明，LNN 对任务的主要焦点给予更高的价值，例如驾驶任务中的道路，以及物体检测任务中的目标物体，这就是为什么它能够在上下文变化时适应任务。变化。其他模型倾向于将注意力分散到输入的不相关部分。
“总而言之，我们已经能够实现更具适应性的解决方案，因为你可以在一种环境中进行训练，然后该解决方案无需进一步训练，就可以适应其他环境，”罗斯说
液体神经网络的应用和局限性
LNN 主要设计用于处理连续数据流。这包括视频流、音频流或温度测量序列以及其他类型的数据。
“一般来说，当我们有时间序列数据时，流动网络会表现良好……你需要一个序列才能使流动网络正常工作，”罗斯说。“但是，如果您尝试将液体网络解决方案应用于 ImageNet 等静态数据库，效果不会那么好。”
LNN 的性质和特性使其特别适合计算受限和安全关键的应用，例如机器人和自动驾驶车辆，这些应用中的数据会持续输入机器学习模型。
麻省理工学院 CSAIL 团队已经在单机器人环境中测试了 LNN，并显示出了有希望的结果。未来，他们计划将测试扩展到多机器人系统和其他类型的数据，以进一步探索 LNN 的功能和局限性。
本文转自：原景学成，转载此文目的在于传递更多信息，版权归原作者所有。如不支持转载，请联系小编demi@eetrend.com删除。
