如果有人朝你扔过来一个球,通常你会怎么办?——当然是马上把它接住。

这个问题是不是很简单?但实际上,这一过程是最复杂的处理过程之一:首先,在复杂的背景环境下,球进入人的视野,被视网膜捕捉到后,经视觉通路发送到大脑处理视觉信息的脑区,进行更加彻底的图像分析。同时,视皮层与其他脑区协作,判断物体的种类,预测它的行进轨迹,最终通过传出神经控制肌肉的运动,决定人的下一步行动:举起双手、接住球。上述过程只在零点几秒内发生,几乎完全是下意识的行为,也很少会出差错。

为了让计算机模仿这一过程,首先需要让计算机做到像人类那样“看”,尤其是在嘈杂背景下像人类那样快速准确的“看”,成为了近年来视觉感知这一研究领域备受关注的关键问题之一。日前,自动化所听觉模型与认知计算团队模仿刻画视听觉系统神经元侧向作用的数学模型动态神经场,将其与脉冲神经网络(SNN)相结合,尝试实现这一目标,构建出具有噪声鲁棒性的仿生计算模型——LISNN。

SNN是一类使用比人工神经网络更拟合生物神经元机制的模型来进行计算的神经网络,最初由Wolfgang Maass于1997年提出。

相较于生物体内其他细胞,神经元和一些肌细胞具有可兴奋膜。膜上有负责维持和调控膜内外的离子浓度差的特殊结构,使得膜两侧带有不同的电荷,形成电位差。多数情况下,膜电位处于能使电场作用和扩散作用平衡的静息状态。

神经元受到刺激,膜电位发生变化并超过阈值后,膜对离子的通透性快速改变,引发膜电位变化。电位反转到最大值后,膜对离子的通透性再次改变,膜电位回复至静息电位。可兴奋膜受到刺激产生动作电位,这种脉冲形式的信息在生物神经系统中传递,使神经系统能够完成其最基本的功能。

脉冲神经元模拟的就是生物神经元的这类过程,不仅使得由其构成的网络具有更加低的能耗,还使得网络具有更强的生物合理性,能更方便地与生物学中发现的机制相结合,就比如生物神经系统中的侧向作用机制。

在生物神经系统的感受器中存在着临近神经元间的相互抑制和相互激励。其中,侧向抑制最初为解释马赫带效应而提出,即人们在明暗变化边界上常常会在亮处看到一条更亮的光带而在暗区看到一条更暗的线条(见图1)。这种侧向作用后来在鲎(鲎的复眼由许多小眼组成,小眼之间由侧向神经相互联系,较易观测侧向抑制现象) 、猫等多种动物的不同感觉系统中被证实并应用在仿生的计算模型中。

ae4f384363b9370f82f4dfb6fbe19025.png

图1 马赫带效应示意(图引wiki)

LISNN的结构如图2所示,前端是两层具有卷积感受野的脉冲神经元层,每层后面有一层平均池化层,后端是两层全连接的脉冲神经元层。具有卷积感受野的脉冲神经元在模型中承担特征提取的功能,类似于感受器的作用,因此只在这层结构中使用侧向作用。在侧向作用机制下,每个脉冲神经元的膜电位都额外受邻域内的其他神经元上一时刻状态的影响。在目前已有的使用侧向作用的计算模型中,侧向作用系数往往是固定的和神经元间距离相关的函数,而LISNN中的侧向作用系数则可以通过反向传播进行学习。

3eb8dc8c1cff6f5f18cf49002b91747d.png

图2 LISNN模型结构示意图

在静态数据集MNIST与Fashion MNIST、动态数据集N-MNIST上的实验表明,与传统的神经网络算法相比,所提算法能取得较好的性能并自然地实现对噪声干扰的抗性,具有一定理论研究价值和工程实用价值。

参考文献:

Xiang Cheng, Yunzhe Hao, Jiaming Xu, Bo Xu. LISNN: Improving Spiking Neural Networks with Lateral Interactions for Robust Object Recognition. IJCAI, 2020.

Logo

开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!

更多推荐