标注与分割专辑将卷积神经网络与图卷积

图卷积网络（GCN）是处理非欧几里得数据的一种新颖而强大的方法，而卷积神经网络（CNN）可以从欧几里得数据中学习特征，例如图像。在这项工作中，本文提出了一种将CNN与GCN相结合的新方法（CNN-GCN），该方法可以同时考虑欧几里得特征和非欧几里得特征，并且可以端到端地进行训练。用此方法将肺血管树分为动脉和静脉（A/V）。通过血管分割和骨架化对胸部CT进行预处理，由此构成一个图：将骨架上的体素产生顶点集连接成邻接矩阵。从CT扫描中提取与每个血管垂直的3D像素块，训练CNN-GCN分类器，并将其应用于所构建的血管图上，然后将每个节点标记为动脉或静脉。医院(11名患者，22个肺)的数据上进行了训练和验证，医院(10名患者，10个肺)的独立数据上进行了测试。使用基线CNN方法和人类观察者的表现进行比较，CNN-GCN方法获得的中位数准确性在验证（测试）集中为0.（0.），而观察者的中位数准确性为0.，CNN的中位数准确性为0.（0.）。总之，本文所提出的CNN-GCN方法将局部图像信息与图形连接性信息相结合，与基线CNN方法相比改善了肺动静脉分割，接近了人类观察者的表现。

图卷积网络（GCN）是卷积神经网络（CNN）的一种变体。近年来，有很多研究领域在处理图形数据（非欧几里得数据），例如社交网络，应用化学，计算机视觉等。GCN及其变体在这些方面获得了良好的性能。

GCN经过训练可以根据特征和连通性预测血管的存在，并使用推理模块生成最终的分割。该方法在视网膜血管和冠状动脉数据集上均取得了很好的结果。但是，该分类器无法进行端到端训练，这可能会产生次优的结果。

因此在这项工作中，本文提出了一种链接CNN和GCN的新型网络，该网络考虑了局部图像和图的连通性特征，并且可以端到端地训练分类器。为了使具有包含大量3D像素块的节点的图适应GPU内存，本文提出了一种基于批处理而不是整个图的策略，用于CNN-GCN训练和验证。CNN-GCN方法用于分割肺动静脉，通过血管图构建和3D像素块提取对图像进行预处理，然后由CNN-GCN分类器预测血管图中每个节点的类别，并根据这些节点的分类对动静脉重建。

GCN可以结合局部和连通性信息，这对于分析血管可能很有用。为了将CNN与GCN结合起来，本文让CNN来学习特征矩阵X，X是从CNN获知的特征图，进行类似于Eq的正常GCN步骤，然后将CNN-GCN分类器链接成函数链，通过反向传播的梯度法直接优化。使用共享的CNN函数处理每个节点的像素块。

算法1中给出了该方法的伪代码。

直接训练CNN-GCN要求将整个图形加载到GPU内存中，但随着特征的学习，这在当前的GPU中是不可行的，本文提出一个抽样策略而不是使用整个图形,类似于批处理训练CNN。

给定图G，随机选择b个具有像素块的节点作为输入batchB，大小为b×S。由于使用图结构，因此还需要这些邻接的像素块。由大小为b×n×S的NB表示，其中n是邻接点数。batchB和相邻batchNB都使用共享的CNN函数处理，该函数可以由多层组成，例如卷积层，最大池层，激活层等。在每次迭代中，都会重新选择B和NB。

算法2中介绍了在图上具有批处理策略的GCN层的伪代码。

2.2在肺动脉-静脉分割中的应用

通过血管分割方法从胸部CT扫描中提取肺血管树，然后通过骨架化方法进行骨架化。

图1.肺动脉-静脉分割的方法

将血管骨架上的所有体素添加为一组节点V，并基于它们的连接构造邻接矩阵A。在这项研究中，仅考虑了一个维度（直接）的邻接点，分别为左右肺构造图G。对于血管骨架上的每个体素，从CT图像中提取出垂直于血管方向且大小为S=[32，32，5]的局部像素块pi。基于中心体素的标签，将像素块pi标记为动脉或静脉。按照批处理策略，输入batchB及其邻居NB使用共享函数分别处理特征向量X和NX。将特征向量X和NX插入到GCN层，表示并转换到新的维数。在激活层之后，将以二维形式预测输出。通过连接CNN和GCN，肺动静脉分割的结构如图1所示。基于中心体素的预测，重新构建肺动静脉，其中横截面上的每个体素都标记有相应中心体素的预测。

本文收医院的东芝AquilionONE扫描的11例对比增强CT扫描（SunYs数据集），以及由莱顿大学医学中心的ToshibaAquilion64扫描的10例对比增强CT扫描（LUMC数据集）。通过滤波器对所有CT扫描进行重新采样，以获得大小为0.mm3的各向同性体素

图2.通过链接CNN和GCN层，构建用于肺动脉-静脉分割的CNN-GCN模型。

C：卷积层；MP：最大池层；DO：dropout层；FC：全连接层

肺血管被分割并提供给每个实例。对于SunYs数据集，医院的两名放射科医生将分割的肺血管标记为动脉或静脉，作为初始标签。LUMC的三位专家对初始标签进行了检查和更正。校正后的标签用作基本事实，其中初始标签用于评估观察者的表现。总共从11名患者（共1,,个像素块）的22个肺中获得了完整标签的肺动脉静脉，称为SunYs数据集。根据此数据集，训练使用了16个肺（,个像素块），验证使用了6个肺（,个像素块）。对于LUMC数据集，每例病例的右或左肺血管均由两名专家分别标记，总共准备了10个具有完整肺动静脉标签的肺（,个像素块）作为独立的测试集。

用CNN3D架构做比较。使用Glorot随机初始化CNN-GCN方法中的函数的权重。另外，本文从CNN3D迁移了学习到的权重，以初始化CNN-GCN方法，将其称为“CNN-GCNt”。使用相同的数据对所有这三种方法进行了训练和验证，并且它们的超参数设置保持不变。

learningrate=1e-3，batchsize=，epoch=。作为基准，观察者的初始标签已根据实际情况进行了验证。准确性被用作比较所有方法和观察者性能的关键指标。

把经过训练的分类模型用于预测肺A/V的标签，并根据实际情况对结果进行评估。结果如图3所示。使用来自SunYs数据集的验证集，CNN3D，CNNGCN和CNN-GCNt方法分别获得0.、0.和0.的中位数准确性。相比之下，观察者的中位数准确性为0.。对于独立测试集（LUMC数据集），这三种方法的中位数准确性分别为0.、0.和0.。

示例A/V分割结果如图4所示，显示了验证集的好坏情况。

图3.训练、验证和测试集中的自动方法和观察者的准确性

图4.（a）和（b）的2D可视化的结果，其中好结果中CNN3D，CNN-GCN和CNN-GCNt的精度分别为0.、0.和0.；差结果的准确性是分别为0.、0.和0.

5.讨论与结论

通过将CNN与GCN链接起来，本文提出了一种新型的基于深度学习的方法，该方法可以进行端到端的训练。CNN-GCN方法可以同时考虑局部图像和连接信息。提出了一种针对图形的局部批处理策略，以使具有大量节点的图形可在GPU内存中训练。在肺动脉-静脉分割的应用中，CNNGCN方法可以提供一次分割，其效果比CNN方法更好，但与观察者相比，其结果略差。该研究存在一些局限性。在测试数据集中，本文没有独立验证观察者的标记，因此在测试过程中没有提供观察者的表现。将来，可以考虑把校正后的标签添加到测试集中。训练期间可能发生过拟合，可以通过添加正则优化器或更多训练样本来克服。尽管存在这些局限性，本文还是从独立的测试集中获得了令人鼓舞的结果，尤其是考虑到这些结果来自不同的患者群体、CT协议和CT扫描仪。总之，本文所提出的CNN-GCN方法经过端到端的训练，成功地将图像和图形中的信息结合在一起。

投稿邮箱：aimonline

转载请注明：http://www.bwmsm.com/jblcbx/13629.html