为了在世界上闯荡，我们的大脑必须对周围的物理世界有直观的理解，然后我们用它来解释进入大脑的感觉信息。
大脑是如何发展这种直觉理解的？许多科学家认为，它可能使用类似于所谓的“自我监督学习”的过程。这种类型的机器学习最初是作为为计算机视觉创建更有效模型的一种方式而开发的，它允许计算模型仅根据它们之间的相似性和差异来学习视觉场景，而没有标签或其他信息。
麻省理工学院 K. Lisa Yang 综合计算神经科学 （ICoN） 中心的研究人员进行的两项研究提供了支持这一假设的新证据。研究人员发现，当他们使用特定类型的自监督学习训练称为神经网络的模型时，生成的模型产生的活动模式与执行与模型相同任务的动物大脑中的活动模式非常相似。
研究人员说，这些发现表明，这些模型能够学习物理世界的表征，它们可以用来准确预测该世界中将发生的事情，并且哺乳动物的大脑可能正在使用相同的策略。
“我们工作的主题是，旨在帮助构建更好的机器人的人工智能最终也成为更广泛地理解大脑的框架，”ICoN中心的博士后Aran Nayebi说。“我们还不能说它是否是整个大脑，但跨越规模和不同的大脑区域，我们的结果似乎暗示了一种组织原则。
Nayebi是其中一项研究的主要作者，该研究与前麻省理工学院博士后Rishi Rajalingham（现就职于Meta Reality Labs）和资深作者Mehrdad Jazayeri合著，他是大脑和认知科学副教授，也是麦戈文脑研究所的成员;以及大脑和认知科学助理教授、麦戈文研究所的准成员罗伯特·杨（Robert Yang）。ICoN中心主任、大脑和认知科学教授、麦戈文研究所副研究员伊拉·菲特（Ila Fiete）是另一项研究的资深作者，该研究由麻省理工学院研究生Mikail Khona和麻省理工学院前高级研究员Rylan Schaeffer共同领导。
这两项研究都将在 12 月举行的 2023 年神经信息处理系统会议 （NeurIPS） 上发表。
对物理世界进行建模
计算机视觉的早期模型主要依赖于监督学习。使用这种方法，模型被训练来对每个标有名字的图像进行分类——猫、汽车等。生成的模型运行良好，但这种类型的训练需要大量人工标记的数据。
为了创造更有效的替代方案，近年来，研究人员转向了一种称为对比自监督学习的技术构建的模型。这种类型的学习允许算法学习根据对象之间的相似程度对对象进行分类，而无需提供外部标签。
“这是一种非常强大的方法，因为你现在可以利用非常大的现代数据集，尤其是视频，并真正释放它们的潜力，”Nayebi说。“你现在看到的很多现代人工智能，尤其是过去几年的 ChatGPT 和 GPT-4，都是在大规模数据集上训练自监督目标函数以获得非常灵活的表示的结果。”
这些类型的模型，也称为神经网络，由数千或数百万个相互连接的处理单元组成。每个节点与网络中的其他节点都有不同强度的连接。当网络分析大量数据时，这些连接的强度会随着网络学习执行所需任务而变化。
当模型执行特定任务时，可以测量网络内不同单元的活动模式。每个单元的活动可以表示为一种放电模式，类似于大脑中神经元的放电模式。Nayebi等人先前的研究表明，自我监督的视觉模型产生的活动类似于哺乳动物大脑的视觉处理系统。
在两项新的NeurIPS研究中，研究人员开始探索其他认知功能的自监督计算模型是否也可能显示出与哺乳动物大脑的相似之处。在Nayebi领导的研究中，研究人员训练了自我监督模型，以预测数十万个描绘日常场景的自然主义视频的未来环境状态。
“在过去十年左右的时间里，在认知神经科学中构建神经网络模型的主要方法是在单个认知任务上训练这些网络。但以这种方式训练的模型很少推广 到其他任务，“杨说。“在这里，我们测试我们是否可以通过首先使用自我监督学习对自然数据进行训练，然后在实验室环境中进行评估来为认知的某些方面建立模型。
一旦模型被训练，研究人员就将其推广到他们称之为“精神乒乓球”的任务中。这类似于视频游戏《乒乓球》，玩家移动球拍来击中在屏幕上移动的球。在Mental-Pong版本中，球在击中球拍前不久就消失了，因此玩家必须估计其轨迹才能击球。
研究人员发现，该模型能够以类似于哺乳动物大脑中神经元的精度跟踪隐藏球的轨迹，这在Rajalingham和Jazayeri之前的一项研究中已经证明，以模拟其轨迹 - 一种被称为“心理模拟”的认知现象。此外，在模型中看到的神经激活模式与动物玩游戏时在大脑中看到的神经激活模式相似 - 特别是在大脑中称为背内侧额叶皮层的部分。研究人员说，没有其他类别的计算模型能够像这个模型一样与生物数据相匹配。
“机器学习 社区在创造人工智能方面做出了许多努力，”Jazayeri说。“这些模型与神经生物学的相关性取决于它们额外捕获大脑内部运作的能力。 Aran的模型预测神经数据这一事实非常重要，因为它表明我们可能越来越接近构建模拟自然智能的人工系统。
驾驭世界
由Khona，Schaeffer和Fiete领导的研究集中在一种称为网格细胞的特殊神经元上。这些细胞位于内嗅皮层，帮助动物导航，与位于海马体的位置细胞一起工作。
每当动物处于特定位置时，放置单元就会触发，而网格单元格仅在动物位于三角形晶格的顶点之一时才会触发。网格单元组创建不同大小的重叠晶格，这使它们能够使用相对较少的单元对大量位置进行编码。
在最近的研究中，研究人员训练了监督神经网络，通过根据动物的起点和速度预测动物的下一个位置来模拟网格细胞功能，这项任务被称为路径积分。然而，这些模型依赖于随时访问有关绝对空间的特权信息——这是动物所没有的。
受到空间多周期网格单元代码的惊人编码特性的启发，麻省理工学院团队训练了一个对比自监督模型，既可以执行相同的路径积分任务，又可以有效地表示空间。对于训练数据，他们使用了速度输入序列。该模型学会了根据位置是相似还是不同来区分位置——附近的位置生成了相似的代码，但进一步的位置生成了更多不同的代码。
“这类似于在图像上训练模型，如果两个图像都是猫的头，它们的代码应该是相似的，但如果一个是猫的头，一个是卡车，那么你希望它们的代码排斥，”Khona说。“我们采用了同样的想法，但将其应用于空间轨迹。一旦模型被训练，研究人员发现模型中节点的激活模式形成了几个不同周期的晶格模式，与大脑中网格细胞形成的格子模式非常相似。
“这项工作让我兴奋的是，它将网格单元代码的惊人信息理论特性的数学工作与路径积分的计算联系起来，”Fiete说。“虽然数学工作是分析性的，但网格单元代码具有哪些属性？- 通过自监督学习和获得类似网格的调整来优化编码效率的方法是综合的：它显示了哪些属性可能是必要和足够的，可以解释为什么大脑有网格细胞。
该研究由K. Lisa Yang ICoN中心，美国国立卫生研究院，西蒙斯基金会，麦克奈特基金会，麦戈文研究所和海伦·海·惠特尼基金会资助。