概要

  重建神经元的三维（3D）形态学对理解大脑结构和功能至关重要。在过去几十年中 ，开发了很多神经元追踪工具来提取和分析3D神经元结构，这些工具手动，半自动和全自动的都有。尽管如此，这些工具大多是用常规技术开发的，且由于神经元结构的复杂性，这些工具的性能有限。最近，深度学习在各种图像分析和计算机视觉应用中表现出比传统方法更优的性能。这里，我们开发了一个新的开源追踪工具【DeepNeuron】，这个工具利用深度学习网络来追踪光学显微镜中的神经元。DeepNeuron 提供了一系列模型来解决神经元追中中基本却费劲的问题，包括检测不同图像条件下的神经突，局部连接连续神经元信号，修剪和修改自动追踪结果，定量评估手动重建质量，以及树突和轴突的实时分类。我们已经使用具有挑战性的光学显微镜图像（包括人类和整个小鼠大脑的明场和共焦图像，bright-field and confocal images）来测试DeepNeuron，结果表明 DeepNeuron 在神经元追踪上具有非常好的鲁棒性和准确性。

介绍

  在最近几十年中，研究员已经开发了抽取三维神经元形态的算法和工具。很多手动/半自动的神经元追踪平台（包括公共领域和商业软件包）已经开发完毕。这些平台允许用户去重建神经元的三维结构，但通常很耗时。为了促进高效神经元追踪工具的开发，DIADEM 挑战 和 BigNeuron 项目已经启动，以对不同的自动算法进行基准测试。尽管大多数算法可以在中小规模的高质量神经元图像上生成有意义的重建，但 UltraTracer 提供了一个有效跟踪大规模图像的框架。尽管做了这些努力，但如何从具有挑战性的神经元图像中精确重建神经元形态仍然是悬而未决的问题。


  从细胞体开始，高性能神经元追踪工具应该跟踪所有的树突和轴突，并最终制定一个精确表示细胞形态的连接单一树。在神经元图像中 ，树突总体显示为更厚且更连续的信号，而轴突总是伴随着某些问题，这些问题让它们更难去追踪。首先，由于大脑标本的解剖和切片，轴突经常看起来时断断续续的片段，以及在 3D 图像堆叠中不是完全连接的。这可以在 biocytin 标记（Allen Cell Type Database）的明视野（bright-field）图像中看到。其次，图片质量因样本制备，成像过程，细胞类型和神经元的健康状态而有所不同。因此，轴突可能会在一个图像中连续 ，但在另一个图像中变暗和离散。我们很难在不同的条件下自动提取它们。第三，在不均匀背景的堆叠图像中追踪轴突的完整轨迹也是具有挑战性的。在整个的小鼠大脑图像中，需要先成像成千上万的小块，然后将其拼接起来从而产生一个高分辨率的 3D 堆叠图像。由于每个块的成像时间不同，最终拼接的堆叠图像背景可能会非常不一致。【为什么时间花费不同，会导致背景不一致？？？】为了追踪一个完整的神经元，注释者必须不断地调整每个局部区域的对比度，以便他们可以追踪整个大脑的轴突。在这种时候，这个过程不能完全自动化，因为局部【nerite？？？】信号很难去自适应增强和精确提取。


  把神经元追踪作为分类问题，一个非常重要的步骤就是从背景（前景/背景分类）中检测神经突触信号，然后通过连接神经突触段（连接/分离分类）重建拓扑结构。由于深度学习方法已广泛应用于模式识别和计算机视觉领域，许多基于人工标注数据集的机器学习/深度学习基础方法可以产生更多准确的神经元形态。例如，Gala 等人，介绍了一种主动学习模型，这个模型通过结合不同特征来自动跟踪神经突触；Chen 等人，提出了一种基于自学习的追踪方法，该方法不需要大量的人工注释；Fakhry 等人 和 Li 等人，使用深度学习神经网络来分割电子和光学显微镜神经元图像。尽管神经元（例如轴突）信号检测的这些方法的性能仍然有争议，但使用深度学习方法的一个重要限制是没有公开可获得的测试神经元图像的数据。

>   我们分析了许多在不同实际运用中的神经元追踪和编辑功能，并能得出如下结论：一个开源的深度学习工具箱可以对这个不断增长的领域做出重要贡献。使用深度学习神经网络训练的分类模型，我们提供了 DeepNeuron 这个工具，这个工具可以为神经元追踪提供基本功能。在自动追踪的功能中，它可以作为一种新的跟踪算法来从噪声神经元图像中重建神经突，或者用于提高现有追踪算法性能的额外处理组件。在手动追踪的功能中，它可以作为一个助手，帮助注释着高效而自信地追踪神经元结构。我们讨论了五个不同但互补的模块，它们将适用于计算神经神态学的多个任务中：

• 神经突起信号检测：从背景中自动识别 3D 树突和轴突信号
• 神经突连接：自动连接局部轴突信号
• 智能修剪：过滤错误的标记并提供精确的自动重建结果
• 重建评估：评估并提供神经重建的质量分数
• 树突和轴突的分类：在实时注释期间自动对树突和轴突分类

结果

神经突信号检测

  如果神经元结构不连续，并且仅以点状结构显示，则很难用任何已存在的自动追踪算法来重建。即使对于人工注释者来说，从嘈杂的背景中标记处这些相互隔的轴突信号也是很繁琐的工作。我们首先介绍神经信号检测模块，该模块用卷积神经网络（CNN）的方法来检测神经突信号。使用分类模型，我们可以精确检测神经突信号， 而不用使用任何预处理步骤来处理原始数据。为了加快检测过程，我们采用了二位CNN模型，然后进行三维测绘的策略，经过这些处理，我们可以在我们的测试数据上表现出令人满意的结果。这种工作方案不局限于2D，在3D 上 CNN模型也可以应用于更具挑战性的场景。


  表一展示了用五重交叉验证测试模型鲁棒性的结果。训练图像样本被平均分为5份子样本，其中一个子样本用作测试数据，其余四个子样本用作训练数据。在我们的例子中，五个独立的子样本是神经元1-24,24-48-49-72,73-96,97-122。对于训练图像和测试图像，前景和背景均能达到98的准确率。


我们将我们的模型运用到两个具有挑战性的数据集上。第一个数据集是明场数据集，第二个数据集是由fMOST成像技术得到的全鼠脑数据。图2展示了轴突检测结果的两个例子。使用神经突信号检测模型，大多数在两个数据集中的轴突信号都能精确地检测到。


图2. 两个具有挑战性的数据集上的轴突检测结果。A）堆叠图像是生物胞素标记的小鼠神经元剪切的3D明场图像；图像的分辨率是$0.14um\ast 0.14um\ast \ast 0.28um$.B）堆叠图像来自全鼠脑数据剪切的3D堆叠；像素分辨率为$0.3um\ast 0.3un\ast 1um$.红点表示3D检测到的轴突信号。A和B中显示出来的两个错误的阳性标记补丁可以用更全面的背景训练样本来消除。通过调整过分类模型的概率阈值或增加训练集中这些类型前景的数量，可以进一步识别在中心具有非常弱信号的那些假阴性补丁（也如 A 和 B 所示）。

神经突连接

  全局，局部和拓扑特征（包括全长，分叉末端）用于研究神经元形态。这些特征必须从神经突中提取，而不能从分散的点中提取。因此，发现神经突的连续以及连接神经突是神经元追踪的关键步骤。自动化追踪算法通常可以在已连接的神经元上或者在神经片段中填充好小空隙的方面获得良好的性能。但是，自动连接点状的神经突信号是很难的。把这些信号之间的空间距离作为权重，最小生成树是连接的一种选择方法。但由于没有联系生物学背景，最小生成树也可能导致拓扑错误。人类善于根据他们的观察和领域知识发现相互隔离的信号之间的连续性。通过从人类注释的大型数据集中学习神经网络的连接，我们引入DMST（基于深度学习的MST），将信号与所考虑的连续神经网络进行本地连接（图3）。


图3. 神经网络连接模块的工作流程。A）在训练步骤中，使用修正的siamese网络来学习信号对的连通性。在每一对中，提取大小$1\ast 200$的特征向量。B）所有信号对的相似性得分的验证结果表明，正对的相似性得分远小于负对。C）在测试步骤中，运用已训练的模型来计算每个检测到的信号对的相似度。我们提出的DMST连接和原始的MST连接（仅使用距离作为权重）的比较结果显示在该图的右下角。


  我们将神经突信号检测和神经突连接模块结合在一起，从而自动重建在明场神经图像上的轴突信号。


图4.DeepNeuron 运用在轴突重建上。A）与图2A所示相同的示例图像。B）通过轴突信号检测模块得到的3D检测轴突以红点的形式展示。绿线表示通过神经突连接模块连接的局部3D连接。如B所示，即使不同神经突检测信号在空间上彼此接近，基于DMST的连接模块也可以制定正确的神经突结构。但是，在更极端的情况下，没有真实信号的局部区域会捕获超过距离的信号，这就会导致如B所示的错误连接。这可以通过扩大检查的局部区域来避免，或者用信号噪声对再增加一个错误的连接类来加强网络的学习。请注意，像左下角那些未连接的片段将由我们的非深度学习的函数进一步处理，这不在本文的讨论范围之类。

智能修剪

  自动追踪算法中的一个关键问题是确定背景阈值。为了获得更好的跟踪结果，这个阈值输入应该是可以手动调整的，但效率是折中的。为了自动定义阈值，一些算法使用整个图像的加权平均强度或添加预处理步骤来增强信号。但是，对于具有不均匀背景的神经元图像来说，增加一个强化图像的步骤不是一个最佳解决方案。DeepNeuron 提供了一个智能修剪模块，它作为一个附加组件来提高现有的自动结果的跟踪性能。


   对于任何单独的跟踪算法而言，如果设定一个较低的阈值，就可以保守的生成过度跟踪的结果。对于一些不需要设定阈值输入的算法而言，可以先对原始图像进行增强，从而产生类似于过度追踪的结果。使用我们的智能修剪模型，我们的分类模型会过滤那些错误检测的注释节点（方法）。多种算法的不同结果也可以在一起做一个后验处理，从而形成此模块的共识（图5）。


  使用智能修剪模块形成共识的工作流程。首先根据基于CNN的节点分类过滤多个自动重建（第2.1节）。然后将所有过滤后的重建融合在一起形成共识。重建结果在原始堆叠图像的上面用红线表示。

重建评估

  评估手动重建对于验证追踪结果的性能是非常重要的。多个注释者交叉检查是一个标准，但也是一个耗时的过程。为了有效地评估重建质量，DeepNeuron 提供了一个评估模块。


  表2显示了$122$张明场 训练图像的五重交叉验证结果。从表中我们可以看出，较厚和较连续的树突（ > 99%）的质量分数高于轴突（ > 96%），这是较为暗淡和不连续的。


   我们将我们的评估模块应用于31个明场测试图像中，其中包括10个人类神经元和21个小鼠神经元，这些数据图像是从Allen Cell Type 数据库中的。表3显示了与表2相一致的结果：树突比轴突具有更高的分数。此外，人类神经突（树突和轴突）的得分较高表明注释者在身体较大的人类神经元上具有更好的追踪性能。


  根据输入手动重建阶段，评估分数可能是一个不同的指标。如果重建来自最初的手动策划结果， 则该评分就是对于重建而言可以信任的水平。如果重建来自最后的交叉验证结果，则该分数也可用于评估输入神经图像的质量（包括神经突的不明显和不连续的地方）。

树突和轴突的分类

  树突和轴突有它们自己的功能，并在神经系统中扮演不同的角色。由于它们外观非常相似，在多数跟踪算法很难自动实现类型分类。利用深度学习神经元网络在分类模型上的优势，我们提供了一个模块来自动对树突和轴突的分类做实时注释。


  图6展示了两个测试示例的分类性能。选择神经突触类型的准确性取决于所选网络的复杂程度。例如，如图6A所示，有五个和六个卷积层的AlexNet21网络可以准确地分类连续的树突和不连续的轴突信号。然而，当轴突的信号与树突相似时（图6B），五层AlexNet会错误地把轴突分类成树突，而六层AlexNet则可以成功区分轴突和树突。我们也比较了两个不同层数的AlexNet模型在训练样本上分类的准确性（表3）。五层模型（前馈运行时间3.27秒）比六层模型训练速度快（前馈运行时间335.91秒），但六层模型分类轴突和树突的准确性更高。在更具挑战性的数据集上，用户可以使用更深层次的训练模型来获得更好的分类结果。


  图6. 五层卷积AlexNet和六层卷积AlexNet树突和轴突的分类比较。A）轴突是离散的，而树突是连续的。B）轴突和树突都是连续的。左侧部分是从长轴突中提取的额，右侧部分是从局部树突中抽取的。红色表示轴突蓝色表示A和B的树突。请注意，所有这些3D片段都是人类使用虚拟描边技术（Virtual Finger technology）注释的；神经突触的类型由我们所提出的模块自动注释的。

结论

  在本次研究中，我们提出了一种新的基于深度学习的开源工具箱，用于神经元追踪：DeepNeuron。DeepNeuron提供不同的模块来完成主要任务：

• 对于神经元堆叠图像，它可以用来自动检测神经突结构。（分类）
• 对于具有检测到的3D信号的神经元堆叠图像，它可以自动连接信号以生成局部片段。
• 对于具有相关手动重建的堆叠神经元图像，它可以给这个重建提供一个质量评估。
• 对于具有相关自动重建的堆叠神经元图像，它可以起到过滤的作用，过滤掉跟踪出现的所有错误，并生出精炼的结果。
• 对于通过用户界面进行交互式人体注释得到的堆叠神经元图像，它可以依据所选网络模型实时对神经突标记类型。
  
  
  DeepNeuron已经是Vaa3D这款软件的一个开源插件。
  
  
  **DeepNeuron工具箱是一款高度灵活的工具，可以让调研人员引入深度学习的能力，从而便利和推动他们的研究前进。如本文所述，调研人员可以自由地替换合适其需求的不同网络模型。**结合Vaa3D中的其他功能，包括30多种自动跟踪神经元的插件，半自动注释神经元，注释效用，神经元图像/重建可视化，DeepNeuron可作为智能的人工智能引擎，为生物学家探索神经元形态提供巨大帮助。

方法

  DeepNeuron的每个模块都与一个或多个处理组件组装在一起。在这些组件的基础上添加或修改一些小部分，以满足每个模块的目的。在模块1中，将二分类的二维CNN模型与信号定位处理集成在一起，以实现信号检测。模块2利用所提出的DMST方法改进的siamese网络来从孤立点制定神经突结果。在模块3中，二分类二维CNN模型用作过滤器来产生精确的共识结果。模块4也使用二分类二维CNN来评估重建，因为其具有定义质量分数的作用。最后 ，模块5使用一个三分类CNN进行神经突分类。请注意，我们的五个模块中的所有网络都可以用用户自己的设计来替换。DeepNeuron模块使用的处理组件的细节如下：

二维 CNN 训练

  我们使用具有五层卷积层和三个全连接层的AlexNet测试我们的模块。人们注释的重建被用作训练样本。3D重建结果使用树状图表示，其包含一系列三维X，Y，Z坐标轴，半径以及注释节点的拓扑“父”。


  在训练中，生成一个局部3D块，其中该中心是神经突的注释节点。然后将这些3D块的二维MIP用作正训练集。随机选择相似数量的2D背景MIP集合作为负训练集。我们使用122个明场神经元堆叠图像以及它们相关的手动重建作为Allen Cell Type数据集中的训练集。在我们的试验中，共有813,012个训练样本，包括404211个前景色块(pathches)和408,801个背景色块。在整个小鼠大脑数据集中，我们使用了具有不同训练样本的训练模型，包括来自22个全鼠神经元重建的252.358个前景斑点和241,324个背景斑点。


  最终层的输出个数会依据训练集和验证集提供的列表标签进行调整。在模块1,3和4中我们使用两个类（前景和背景），而在模块5中，我们用三个类（树突结构，轴突和背景）输出。

信号定位

  信号定位过程提供了2D CNN 所需的 2D 输入贴片，然后将网络识别的信号贴片定位到3D。我们首先基于整个 3D 堆叠图像在XY平面上生成最大强度投影（MIP）图像。从MIP图像的起点开始，在每个n像素间隔（n是用户定义的步长）内在整个图像域中定义 2D 贴片。为了减少错误标记的概率，我们对这些检测到的 2D 前景信号应用均值漂移方法来改进检测结果。然后，所有漂移（shifted）过的2D 信号映射回实际的3D位置，基于沿Z方向的局部最大强度。为了进一步排除由Z方向上的噪声引起的假阳性块，局部3D区域的MIP再次被深度学习模型提取和分类。如果映射的3D信号仍然被归类为前景，它将被保存在最终的检测结果中（补充图1）。

siamese网络

  siamese网络用于那些设计两个比较对象的相似性或相关关系的任务。我们在这项任务中修改的siamese模型包含两个相同的网络。每一个网络都是CNN网络，由两个卷积层，使用最大池化，三个全连接层组成。然后将这两个网络馈送到对比损失函数以产生二元决策。


  在训练中（图3A），我们将两个连续注释节点生成的一对补丁patch 标记为正对，并将两个分开的注释节点生成的一对补丁标记为负对。我们工使用了919,391对训练队。其中459,695是正对，459,696是负对。


  在测试中（图3B），一个大小为$1\ast M$的特征向量被提取用于单个输入补丁（M可以由用户定义，我们在实验中使用$M=200$）.计算两个特征向量之间的欧几里得距离作为补丁对的相似度得分，该距离乘以距离形成我们提出的DMST图中的权重

质量分数生成

  补充图2展示了生成质量分数的工作流程：

• 首先，手动重建中的所有注释节点根据训练过的深度学习分类模型分为两类：前景和背景
• 在测试重建中，所有被分类为背景的节点都删除了
• 根据方向，尖端位置和距离，原始预测的片段自动连接起来形成精确的预测。在我们的实验中，我们只连接两个节段的终端尖端，如果这两个节段的方向相差小于30度，距离相差小于30个三维像素（Voxels）
• $质量分数 = \frac{精确预测中前景节点的数目}{手动重建测试中节点的总数目} * 100 $%