来源：专知
      
     
    
   
   

    

     

      

       

        

         本文约2800字，建议阅读5分钟
        
        

         在本论文中，我们旨在通过关注多模态智能的三个关键维度来推动该领域的发展：多模态对齐性、鲁棒性和泛化性。
        
       
      
     
    
   

近期，清华大学类脑计算研究中心施路平团队，研发出全球首款类脑互补视觉芯片「天眸芯」，研究成果登上 Nature 封面。

近日，该团队推出一种新的神经形态计算架构，即类脑神经计算模型 「Dendristor」。

「Dendristor」旨在复制突触的组织（即神经元之间的连接）和树突的树状结构（即从神经元体延伸出来的突起）。

这种创新的树突网络模拟了树突状结构及其固有的时空处理特性，为未来人工智能提供了高能效的视觉感知能力。

类脑形态树突网络计算模型的开发由清华大学跨学科团队清华大学脑与智能实验室（THBI）的 Eunhye Baek 博士、宋森教授、Carlo Vittorio Cannistraci 教授，以及清华大学精密仪器系的赵蓉教授和施路平教授共同完成。

相关研究以《Neuromorphic dendritic network computation with silent synapses for visual motion perception》为题，于 6 月 6 日发布在《Nature Electronics》上。

论文链接：https://www.nature.com/articles/s41928-024-01171-7

受大脑启发

随着 AI 工具的快速发展，世界各地的工程师们都在研究新的架构和硬件组件，来复制人脑的组织和功能。

迄今为止，大多数受大脑启发的技术都是从脑细胞（即神经元）的放电中汲取灵感，而不是反映神经元素的整体结构，以及它们如何促进信息处理。

「当我还是意大利米兰理工大学的人工智能和大脑生物工程专业硕士生时，我就想到了模仿大脑连接的稀疏性和形态，比如神经元的树突，来设计高效的人工智能。」通讯作者之一、 清华大学脑与智能实验室（THBI）教授 Carlo Vittorio Cannistraci 表示。

「有一天，Carlo 让我研究『树突计算』，因为我们之前合作研究的『神经晶体管』有可能模仿树突特性，」论文一作、共同通讯作者、 THBI 的 Eunhye Baek 博士说。

「施路平教授和我一直在寻找开发神经形态视觉传感器系统的方法，我们认识到这种方法的潜力。我的研究兴趣是构建更像大脑/神经元的动态信息处理系统。树突计算让我非常兴奋，因为它涵盖了广泛的动态和复杂特性，这些特性在神经形态工程中尚未得到广泛研究。」

图示：模拟树突形态的 Dendristor。（来源：论文）

迄今为止进行的大多数神经形态计算研究都集中在，重现与学习相关的突触过程和人工复制神经元尖峰的产生。这些研究通常将树突建模为简单的传输线，从而忽略了与其独特形态相关的功能。

「树突利用其树状形态来映射空间分布的信号，表现出分支特定的可塑性，并整合各种突触。」Baek 解释说。

「每个树突分支对具有特定方向性的信号特别敏感，使它们专门用于处理时空信号。我们的研究重点是这些复杂的树突功能。」

一种新的神经形态计算架构

研究人员合作设计并开发了一种新设备，可以反映生物树突的形态和功能。这种被称为「树突」（Dendristor）晶体管的设备利用了涂有离子掺杂溶胶-凝胶膜的多栅极晶体管的物理特性，模拟了树突执行的计算。

Dendristor 的突出之处在于它处理信息的方式与神经元及其网络的生物形态非常相似，而不是目前人工神经网络典型的批处理方式。Dendristor 模型实现了树突分支间和神经元间的特定塑性，从而提高稀疏神经网络中的学习效率。

这种方法允许 Dendristor 在其树突分支内对传入信号的序列和方向进行编码，从而提高其识别运动的能力。特别是模型中包含的「沉默突触」，即由树突分支电位激活的突触，增强了其对信号方向的敏感性，优化了其视觉感知过程。

图示：（a）生物树突，（b）Dendristor 与正常突触，（c）Dendristor 与沉默突触的方向选择性比较。（来源：论文）

Baek 表示：「这种薄膜通过允许掺杂离子以类似于神经元树突中的离子的方式移动来模拟树突分支，从而调节晶体管的电流以反映树突膜电位的变化。我们的研究表明，树突晶体管表现出非线性树突整合和方向选择性。」

除了树突晶体管设备外，该研究小组还介绍了一种人工静默突触。在这个系统中，溶胶-凝胶膜中树突晶体管分支的电压确保突触输入仅在薄膜达到特定阈值时激活，从而提高了系统辨别移动视觉刺激方向的能力。

Baek 表示：「我们还创建了一个神经形态树突神经回路，它可以计算移动信号的方向，这种设计灵感来自视网膜和视觉皮层的神经回路。该电路能够检测二维和深度移动的信号，并将它们整合起来，重建三维空间中物体的运动方向。」

通过紧密镜像树突神经元的稀疏连接，该新型神经形态计算方法可实现显著的能源效率。事实上，与现有的人工神经网络（ANN）相比，该系统展示了利用更少的神经元检测运动的潜力。

图示：树突网络神经回路的 3D 视觉运动感知。（来源：论文）

这种新架构的关键优势在于，它超越了复制生物神经元的功能方面。与其他现有的神经形态计算平台相比，它还重现了神经元的结构和稀疏连接，包括树突的形态和静默突触的基础。

「尽管神经形态研究中有各种方法来实现智能，但我们的研究独特地展示了神经元及其突触连接形态在动态信号处理中的重要性。」Baek 说。

「我们通过模仿生物神经元形成功能性神经回路的方式，对突触输入进行空间稀疏映射，从而实现了这一目标，突出了这种形态对于有效的神经形态信息处理的重要性。」

值得注意的是，该研究团队首次证明抑制和静默突触的空间位置也可以控制神经形态系统中神经元对信号的处理。这一见解可以指导设计其他重现静默突触的计算模型和架构。

「稀疏性和形态学一直被人们所忽视，也未得到广泛应用，无法构建下一代人工智能，」Cannistraci 说道。「我们的研究首次展示了如何利用真实大脑网络的这两个特征来设计下一代神经形态神经网络，以实现高效的人工智能。」

下一步研究

该研究可能很快会为基于半导体器件的神经形态系统工程开辟新的令人兴奋的途径。具体来说，他们提出的受大脑启发的设计可能有助于开发能耗更低的新设备和人工智能工具，从而为更可持续的计算铺平道路。

Baek 博士表示：「与基于 GPU 的运动检测系统不同，基于类脑树突神经电路（NDNCs）的系统由于网络中使用了更少数量的神经元，因此系统功耗更低。」

Carlo Vittorio Cannistraci 教授补充道：「我们的类脑树突网络模拟了包括树突形态在内的大脑稀疏神经网络，从而实现了高能效信息处理。」这种创新的树突计算利用了独特的方法，在人工智能、神经计算和脑启发式计算领域开辟了新的可能性。

在接下来的研究中，研究人员计划进一步扩展他们的人工神经回路，使用先进的抑制连接，进一步促进动态视觉信号的分类。为此，他们将尝试密切模仿大脑在早期发育阶段观察到的神经连接。

「我们计划开发新的神经形态树突网络架构，进行深度学习，并能解决视觉感知以外的其他人工智能任务，例如时间序列分析和听觉任务。」Cannistraci 补充道。

「此外，我们希望开发多模态电路，能够处理和关联不同类型的感官输入，如视觉和听觉。最后，我们希望将这种稀疏和形态计算范式扩展到在数字硬件上实现的经典类型的人工神经网络。」

参考内容：https://techxplore.com/news/2024-07-brain-artificial-dendritic-neural-circuit.html

编辑：文婧

关于我们

数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。

新浪微博：@数据派THU

微信视频号：数据派THU

今日头条：数据派THU