Processing math: 0%
  • 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

基于元素分离与整体注意力的图卷积网络框架

祝传振, 王璇, 郑强

祝传振, 王璇, 郑强. 基于元素分离与整体注意力的图卷积网络框架[J]. 计算机研究与发展, 2024, 61(8): 2008-2019. DOI: 10.7544/issn1000-1239.202440143
引用本文: 祝传振, 王璇, 郑强. 基于元素分离与整体注意力的图卷积网络框架[J]. 计算机研究与发展, 2024, 61(8): 2008-2019. DOI: 10.7544/issn1000-1239.202440143
Zhu Chuanzhen, Wang Xuan, Zheng Qiang. Element Separation and Holistic Attention Based Graph Convolutional Network Framework[J]. Journal of Computer Research and Development, 2024, 61(8): 2008-2019. DOI: 10.7544/issn1000-1239.202440143
Citation: Zhu Chuanzhen, Wang Xuan, Zheng Qiang. Element Separation and Holistic Attention Based Graph Convolutional Network Framework[J]. Journal of Computer Research and Development, 2024, 61(8): 2008-2019. DOI: 10.7544/issn1000-1239.202440143

基于元素分离与整体注意力的图卷积网络框架

基金项目: 国家自然科学基金项目(61802330,61802331);烟台市科技创新发展计划项目(2023XDRH006)
详细信息
    作者简介:

    祝传振: 1999年生. 硕士研究生. 主要研究方向为深度学习、脑网络、图神经网络

    王璇: 1991年生. 博士,副教授. 主要研究方向为图像处理、机器学习、模式识别

    郑强: 1986年生. 博士,教授. 主要研究方向为医学图像处理、数据挖掘、人工智能

    通讯作者:

    郑强 (zhengqiang@ytu.edu.cn)

  • 中图分类号: TP391

Element Separation and Holistic Attention Based Graph Convolutional Network Framework

Funds: This work was supported by the National Natural Science Foundation of China (61802330, 61802331) and the Project of Yantai City Science and Technology Innovation Development Plan (2023XDRH006).
More Information
    Author Bio:

    Zhu Chuanzhen: born in 1999. Master candidate. His main research interests include deep learning, brain networks, and graph neural networks

    Wang Xuan: born in 1991. PhD, associate professor. Her main research interests include image processing, machine learning, and pattern recognition

    Zheng Qiang: born in 1986. PhD, professor. His main research interests include medical image processing, data mining, and artificial intelligence

  • 摘要:

    目前,图卷积网络在处理图数据等非结构化数据方面具有很大的潜力,然而在处理稠密连接图时仍面临一定的挑战,因为其基于节点的邻域信息聚合机制容易导致整个网络图出现过度平滑现象从而弱化网络图的表达能力. 稀疏图的构建在一定程度上能够缓解网络图在卷积过程中的过度平滑现象,但是稀疏图容易丢失信息且稀疏化的过程缺乏统一标准,从而影响模型的一致性和可解释性. 为此,提出了一种基于元素分离与整体注意力的图卷积网络框架(EH-GCN). 该框架无需建立在稀疏图的基础之上,不仅能够在稠密连接图分别学习图的连接特征和节点特征,而且采用全局注意力机制进行连接特征和节点特征的整合,从而克服了传统图卷积网络框架在应对稠密连接图时的局限性,提高了网络图的特征表达能力. 首先在ADNI,ABIDE和AIBL这3个脑影像数据集上构建全连接脑网络,验证了EH-GCN在稠密连接图分类任务中的有效性. 随后,所提模型在FRANKENSTEIN化学分子图数据集上进行了测试,证明了其强大的泛化能力. 此外,所提模型的可解释性分析结果与先前的神经病理学研究一致,进一步证明了所提模型的生物学基础.

    Abstract:

    Currently, graph convolutional network (GCN) holds significant potential in processing graph data and other unstructured data. However, GCN faces challenges when dealing with densely connected graphs, as their node-based neighborhood information aggregation mechanism can lead to excessive smoothing, thereby weakening the expressive power of the network graph. The construction of sparse graphs can alleviate the phenomenon of excessive smoothing during the convolution process to some extent, but sparse graphs are prone to information loss and the sparsification process lacks unified standards, affecting the model’s consistency and interpretability. To address this, we propose element separation and holistic attention graph convolutional network framework (EH-GCN). This framework does not require the basis of sparse graphs and can learn the connectivity and node features of densely connected graphs separately. Moreover, it employs a global attention mechanism to integrate connectivity and node features, thus overcoming the limitations of traditional GCN frameworks in handling densely connected graphs and enhancing the feature expression capability of the network graph. We firstly construct fully connected brain networks on three brain imaging datasets: ADNI, ABIDE, and AIBL, verifying the effectiveness of the EH-GCN model in classifying densely connected graphs. Subsequently, the model is tested on the FRANKENSTEIN chemical molecular graph dataset, demonstrating its robust generalization capability. Additionally, the interpretability analysis of the framework aligns with previous neuropathological research, further substantiating the biological basis of the framework.

  • 图数据是由节点(实体)和边(实体间的关系)组成的独特结构,是表示和分析社交网络、分子结构、脑网络等复杂系统的理想模型[1]. 然而,非结构化数据独有的高度复杂性和动态性使得传统的机器学习方法,如随机森林(random forest,RF)和支持向量机(support vector machine,SVM)[2-3],在处理大规模图数据时存在一定的限制,尤其难以有效捕捉并利用图结构中的高级信息. 随着深度学习的出现,研究者们已经开发出了从海量数据中识别高级特征的有效工具,如用于矢量的多层感知器(multi-layer perceptron,MLP)[4]、用于网格数据的卷积神经网络(convolutional neural network,CNN)[5]以及用于序列的递归神经网络(recurrent neural network,RNN)[6]. 它们展现出比传统机器学习方法更强大的特征提取能力. 特别是,卷积神经网络因其强大的特征提取能力,在基于自然图像[7]和医学图像[8]的分类和回归问题上取得了巨大成功. 然而,图数据是非欧氏空间数据,与传统网格状图像数据存在显著差异,这使得在图数据上直接使用传统的卷积神经网络方法存在一定的挑战.

    随着深度学习技术的发展和图数据的广泛应用,研究人员将卷积神经网络的局部结构建模能力从传统的欧式空间扩展到非欧式空间,从而发展出了图卷积网络(graph convolutional network,GCN)[9]. GCN的核心机制是在图结构数据上通过邻居节点的特征信息聚合来更新每个节点的表示. 随着多个图卷积层的叠加,可以有效地学习图数据的深层特征. 基于这些特性,GCN已经被广泛地应用于基于脑网络的脑疾病诊断. 例如,Yin等人[10]提出了一种基于GCN从脑网络特征自动识别精神分裂症的方法,通过融合动态图卷积和自适应学习,实现了对精神分裂症患者和正常对照组的精准识别,并探讨了每个重要区域的节点拓扑特征与临床评价指标之间的相关性. Wen等人[11]提出了一种先验脑结构学习引导的多视图卷积神经网络(multi-view graph convolutional neural network,MVS-GCN),该网络将图结构学习和多任务图嵌入学习相结合,提高了自闭症诊断性能并能识别潜在的功能子网络. Yao等人[12]设计了一种相互多尺度三元组图卷积网络(mutual multi-scale triplet graph convolutional network,MMTGCN),用于利用功能磁共振成像(functional magnetic resonance imaging,fMRI)和弥散磁共振成像数据进行脑网络分析,并验证了其对阿尔茨海默症(Alzheimer's disease,AD)和多动症诊断的有效性.

    尽管GCN在处理图数据方面比传统深度学习方法具有更好的表现,但仍存在3点限制:1)在处理脑网络这种稠密连接图时,传统的GCN容易出现计算量大的问题,因为需要处理和计算大量的节点及其邻域信息. 2)传统GCN算法基于节点的邻域信息聚合机制容易导致整个网络图出现过度平滑现象[13],特别是在多个卷积层后,这会弱化网络图的表达能力. 3)虽然稀疏图的构建能够在一定程度上缓解过度平滑现象,但它容易导致信息丢失,并且由于稀疏化过程缺乏统一标准,不同的稀疏方法可能会在节点特征聚合的过程中引入额外的噪声,从而损害图卷积网络的整体性能[14].

    在这种背景下,迫切需要改进和扩展传统GCN,以适应脑网络这种具有稠密连接,且节点和边都具有丰富特征的全连接图. 鉴于此,本文提出了一种基于元素分离与整体注意力的图卷积网络模型(EH-GCN),有效解决了传统GCN处理稠密图时的局限性. 具体而言,该模型使用元素化分离策略设计了2个通道来单独学习图的连接特征和节点特征,然后对2个通道的不同神经网络层特征进行拼接,从而获得了多尺度全脑特征. 另外,还引入整体化注意力,使得模型能够更加关注不同神经网络层以及节点和连接特征的重要程度. 为了验证EH-GCN的优越性,共有600名来自阿尔茨海默病神经成像倡议(Alzheimer’s disease neuroimaging initiative,ADNI)数据集和1053名来自自闭症脑成像数据交换(Autism brain imaging data exchange,ABIDE)数据集的参与者,以及200名来自澳大利亚成像、生物标志物和生活方式研究(Australian imaging,biomarkers and lifestyle flagship study of ageing,AIBL)数据集的参与者的脑影像进行了实验. 实验结果显示,在使用未稀疏化的全连接脑网络作为模型输入的情况下,对AD和自闭症谱系障碍(Autism spectrum disorder,ASD)诊断方面仍然分别达到了89.8%和69.8%的优越准确率,并在AIBL阿尔茨海默症数据集的外部测试中达到了89.5%的准确率. 相较于传统GCN方法,具有明显的提升. 随后,在FRANKENSTEIN化学分子图数据集上验证了其强大的泛化能力. 此外,通过对模型关注的重要脑区和连接进行的可解释性分析,可以发现这些重点区域与之前的大多数研究结果一致,这不仅证明了本文方法的有效性,也为未来在脑神经疾病研究领域的应用提供了可靠的支持.

    GCN的理论基础来自于图论中的谱图理论,该方法利用图拉普拉斯矩阵\boldsymbol L 的特征分解来分析图结构. 图拉普拉斯矩阵可以分解为 {\boldsymbol L}={\boldsymbol U}{\boldsymbol \varLambda }{\boldsymbol U}^{\text T} ,其中 {\boldsymbol U} 是归一化拉普拉斯矩阵的特征向量组成的矩阵,Λ是对角矩阵,包含L的特征值. 图卷积定义为图信号 {\boldsymbol X}\in {\mathbb{R}}^{N} 与滤波器 {g}_{\theta } 的乘积,在谱域中的表示为:

    {g}_{\theta } {\boldsymbol X}={\boldsymbol U}{g}_{\theta }\left({\boldsymbol \varLambda} \right){\boldsymbol U}^{\text T}{\boldsymbol X} \text{,} (1)

    其中 {g}_{\theta }=diag\left(\theta \right) \theta 是要学习的参数.

    这种卷积操作虽然简单易懂,但也存在一个较大的问题,即在处理大规模图数据时,学习的参数量较多,极易产生过拟合问题,且不具有局部性性质. 为了解决这个问题,Defferrard等人[15]利用切比雪夫多项式来设计卷积核中的滤波器,这种设计具有计算效率高和适应性强的优势. 该操作可表示为:

    {g}_{\theta } {\boldsymbol X}\approx \sum _{k=0}^{K} {\theta }_{k}{{T}}_{k}\left(\tilde {\boldsymbol L}\right){\boldsymbol X} \text{,} (2)

    其中 \tilde {\boldsymbol L}=2{\boldsymbol L}/{\lambda }_{\text{max}}-{\boldsymbol I} {\lambda }_{\text{max}} L 的最大特征值. 切比雪夫多项式 {{T}}_{k}\left({\boldsymbol x}\right) 定义为:

    {{T}}_{k}\left({\boldsymbol x}\right)=2x{{T}}_{k-1}\left({\boldsymbol x}\right)-{{T}}_{k-2}\left({\boldsymbol x}\right) \text{,} (3)

    T_0\left(\boldsymbol{x}\right)=1 T_1\left(\boldsymbol{x}\right)=\boldsymbol{x} . 该方法避免直接计算特征分解,从而大幅度降低计算成本. 同时可以通过调整多项式的阶数K,可以在保留更多局部信息(低阶)和捕捉更广泛的全局信息(高阶)之间进行权衡,使其不再依赖于图的大小和结构,适用于各种不同的图.

    为了更加简化卷积过程并降低参数量,Kipf 等人[16]K 阶局部卷积运算限制为K=1,则该卷积可简化为:

    {g}_{\theta }*{\boldsymbol X}={\theta }_{0}{\boldsymbol X}+{\theta }_{1}{\boldsymbol{LX}} \text{,} (4)

    {\theta }_{0}={\theta }_{1}=\theta

    {g}_{\theta }*{\boldsymbol X}=\theta \left({\boldsymbol I}+{\boldsymbol L}\right){\boldsymbol X}. (5)

    在这里, \theta 是一个标量,它对频率响应函数进行了缩放. 在神经网络模型中,这类缩放通常通过归一化操作来替代,因此引入θ作为一个单独的参数是非必要的. 设 \theta =1 ,并将 {\boldsymbol I}+{\boldsymbol L} 替换为 {\tilde {D}^{-\tfrac{1}{2}}}\tilde {A}{\tilde {D}^{-\tfrac{1}{2}}}X ,其中 \tilde {A}=A+I,{\tilde {D}}_{ii}=\sum\limits_j{\tilde {A}}_{ij} ,从而防止梯度爆炸或消失,最终得到的图卷积在文献[16]中被定义为:

    {\boldsymbol Z}={\tilde {D}^{-\tfrac{1}{2}}}\tilde {A}{\tilde {D}^{-\tfrac{1}{2}}}X{\boldsymbol \varTheta }\text{,} (6)

    其中 {\boldsymbol \varTheta } 代表滤波器的参数矩阵, {\boldsymbol Z} 代表卷积后的节点特征矩阵. 通常称式(6)为图卷积层(GCN layer),以此为主体堆叠多层的神经网络模型称为GCN模型. 此外,GCN的多种变体如图注意力网络(graph attention network,GAT)[17],Graph SAGE[18],以及图同构网络(graph isomorphic network,GIN)[19]等,通过引入新的卷积方法和消息传递机制,增强了GCN在多样化图数据处理和各种复杂应用场景中的适应性和性能.

    GCN将传统的卷积神经网络从欧几里得数据(例如,2D或3D图像)推广到非欧几里得域(例如,图和流形),并已成为一种很有前途的图挖掘方法[20]. 在基于脑网络的GCN模型中,整个大脑可以视为一个图. 具体来说,每个受试者的大脑被分为多个区域(也称为感兴趣区域,即ROI),每个大脑区域可以用一个节点来表示,2个节点之间的连通性可以描述人脑网络中的功能/结构连接模式,这些连接模式在全脑尺度上具有独特的图/网络结构[21]. 通常把每个脑网络定义为一个图 G=\{V,E\} ,其中顶点集 V=\{{v}_{1}, {v}_{2},…, {v}_{{N}_{b}}\} 指的是大脑中的脑区(也可以称之为节点), {N}_{b} 是大脑区域的数量. 每个脑区(或脑区节点)一般都有一个特征向量,从而生成整个脑区的特征矩阵 {\boldsymbol X}= \left({\boldsymbol x}_{1},{\boldsymbol x}_{2}… ,{\boldsymbol x}_{{N}_{b}}\right)\in {\mathbb{R}}^{{N}_{f}\times {N}_{b}} ,其中 {N}_{f} 是每个节点的特征维度. 此外, E 表示不同节点之间的边集,每条边都由连接度值加权,由邻接矩阵 {\boldsymbol A}\in {\mathbb{R}}^{{N}_{b}\times {N}_{b}} 表示. 大脑的这种图数据表示称之为脑图. 通过将这种脑图应用到GCN模型中,研究者能够有效地学习和分析大脑区域之间的复杂互动和关联.

    近年来,GCN在脑网络数据中得到了广泛应用,并取得了重大进展. GCN可以捕获网络的拓扑信息,并挖掘大脑连接网络中用于疾病分类的有用模式[22]. 例如,Zhou等人[23]提出了一种可解释的GCN框架,用于使用多模式脑成像数据识别和诊断AD,并将Grad-CAM应用于GCN模型,以解释显著的脑区;Xu等人[24]开发了一种基于图对比学习的自适应多通道GCN(MSTGC)融合框架,该框架不仅能有效挖掘多模态脑网络的互补性和判别性特征,还能捕捉脑网络的动态特征和拓扑结构,并在识别癫痫患者和正常对照组方面取得了优异的诊断性能;Ktena等人[25]提出使用Siamese GCN (SGCN)来分析自闭症的脑功能连接网络,通过使用2个权重共享的GCN来测量成对图或网络之间的差异,从而实现脑网络的分类和疾病诊断;Yao等人[26]将这种基于成对相似性的学习策略扩展到受试者之间的三重关系(即受试者与其他不同类别受试者的关系),提出了三重GCN(TGCN),并实现多动症和自闭症的有效诊断. 此外,Li等人[27]还提出了一个端对端的可解释的图神经网络BrainGNN,该框架通过具有ROI的图卷积层和ROI选择池化层,并通过正则化项增强ROI选择效果,在自闭症数据集上获得了与之前的神经影像学证据高度一致的ROI和优异的诊断性能.

    本文提出的基于元素分离与整体注意力的GCN框架主要分为3个部分,分别为元素分离学习模块、整体注意力模块和图池化模块,下面将详细叙述这3个模块.

    1)连接特征学习通道

    在脑网络研究中,大脑区域之间的关系是复杂而多层次的. 大脑区域之间除了直接连接之外,还存在着间接连接,这种间接连接通过其他中间大脑区域进行信息交流,并起着至关重要的作用.

    假设有2个大脑区域,称为区域 i 和区域 j ,这2个区域之间的直接连接表示为 i j ,对于其他间接连接,例如通过另一个大脑区域 k 的连接 i k j . 尽管ij之间的直接连接可能较弱或无连接,但它们仍然可以通过连接 i k j 相互关联.

    为了更好地描述 i j 之间的通信,本文引入了连接的阶数的概念. 例如,将 i j 的直接连接 i j 定义为1阶连接,而连接 i k j 定义为2阶连接. 通过这种方式,可以考虑到更多的通信连接,能够更全面地捕捉到大脑区域之间的相互作用. 受Li等人[28]启发,节点 i 到节点 j 的所有连接信息可以由公式表示:

    {EC}_{i,j}=\sum _{s=1}^{S} \Bigr(\sum _{k=1}^{\left|{A}_{i,j}^{S,*}\right|} {A}_{i,j}^{s,k}{w}_{s,k}\Bigr){\theta }_{S}, (7)

    其中, {A}_{i,j}^{s,k} 表示节点 i 和节点 j 之间的第 k s 阶连接, {EC}_{i,j} i j 之间所有连接信息的聚合. S 是最高价连接的阶数, \left|{A}_{i,j}^{S,\mathrm{*}}\right| S 阶连接的数量 {w}_{s,k} {\theta }_{s} 是可学习的参数. 这种方式可以将数据从1阶连接聚合到 S 阶连接,并从这些连接中提取有意义的特征.

    然而,上述方法存在计算复杂度高和参数量大的问题. 对于一个包含N个节点的图,任意2个节点之间的S阶连接数量为NS–1(以本文90个节点的图为例,任意2个节点的3阶连接数量为902=8100),其模型的参数量呈指数级增长. 受Kipf等人[16]启发,为了简化模型,本文设 S =2,只考虑1阶连接和2阶连接,并且将 {w}_{s,k}{\theta }_{s} 设为 {w}_{k} . 简化后的连接卷积表示为:

    \begin{split} {A}_{i,j}^{l+1}=& \sum _{k=1}^{\left|{A}_{i,j}^{1,*,l}\right|+\left|{A}_{i,j}^{2,*,l}\right|} \left({A}_{i,k}^{l}+{A}_{k,j}^{l}\right){w}_{2,k}^{l}{\theta }_{2}^{l}= \sum _{k=1}^{\left|{A}_{i,j}^{1,*,l}\right|+\left|{A}_{i,j}^{2,*,l}\right|} \left({A}_{i,k}^{l}+{A}_{k,j}^{l}\right){w}_{k}^{l} =\\ &\sum _{k=1}^{n} \left({A}_{i,k}^{l}+{A}_{k,j}^{l}\right){w}_{k}^{l},\\[-1pt]\end{split} (8)

    其中, {A}_{i,j}^{l+1} 代表第 l +1层的节点i与节点j的连接信息,n是节点的数量, {w}_{k}^{l} l 层的第1阶和2阶连接的可学习参数. 尽管在这个简化的过程中,只考虑1阶和2阶连接,但通过堆叠几个连接卷积层,可以从大脑连接中学习高阶连接的有意义特征. 本文将这种操作定义为脑连接卷积(brain connectivity convolution,BCC).

    2)节点特征学习通道

    传统的GCN的方法是通过对节点的邻域进行信息聚合来实现节点特征的学习. 在全连接图中,由于每个节点与所有其他节点之间都存在连接,节点的聚合包含了所有其他节点的信息,这种过度聚合会使得节点的特征变得过于相似(即过度平滑),进而掩盖了节点自身的独特和重要特征.

    为了更好地学习节点特征,使其不受冗余复杂的连接特征所干扰,本文设计了一个使用多层感知机(multilayer perceptron,MLP)[29]组成的图节点特征学习通道,该通道可以将节点的初始特征映射到一个新的表示空间中. 由于每个节点的特征映射是相互独立的,每个节点的更新仅依赖于其自身的特征而不是其邻居的特征. 这种独立性减少了特征在不同节点间的信息交互,从而避免了过度聚合的风险. 每一层的MLP由多个神经元(称为全连接层(FC))组成,每一层的线性变换过程如式(9)所示:

    {x}_{i}^{l+1}=\sigma \left({\boldsymbol W}^{l}{x}_{i}^{l}+{{\boldsymbol b}}^{l}\right) \text{,} (9)

    其中 {x}_{i}^{l} 代表第 i 个节点的第 l 层特征, {x}_{i}^{l+1} 代表第 i 个节点的第 l +1层特征, {\boldsymbol{W}}^{l} {\boldsymbol{b}}^{l} 分别是第 l 层的权重和偏置, \sigma (\cdot ) 为激活函数. 通过这种方式,每个神经元都能够以不同的方式加权组合和转换特征,这有利于节点中潜在抽象特征模式的提取.

    该通道在第一层将90×25初始大小的节点特征矩阵通过FC转换为与边特征矩阵相同的90×90节点特征矩阵,并在后续每层中实行相同的矩阵大小,以便能够与连接特征矩阵进行拼接.

    在神经网络中,浅层的神经网络可能会导致特征提取不充分,而过深的神经网络可能会带来过拟合. 因此,网络层数的选择是一个重要且需要细致考虑的问题. 为了解决这个问题,本文设计了一个整体化注意力模块,如图1所示,该模块能够自动学习重要的脑连接和脑节点深层特征和浅层特征. 具体来说,本文将上述脑连接特征学习通道和节点特征学习通道的中间层特征进行提取并拼接,构成多尺度全脑特征图 {X}_{\text{FB}}\in {\mathbb{R}}^{2n\times 90\times 90} ,其中 n 代表中间层的数量. 受挤压和激励网络(SE Net)[30]启发,在获得多尺度全脑特征之后,可以通过全局平均池化得到一个通道数维度的向量. 然后,使用3个带激活函数的全连接层来学习注意力向量,该向量通过乘法作用于数据的通道上. 整个通道注意力过程如式(10)所示.

    图  1  基于元素分离与整体注意力的图卷积网络框架
    Figure  1.  Element separation and holistic attention based graph convolutional network framework
    \left\{\begin{aligned} &{\boldsymbol X}_{\text{FB}}={f}_{\text C}\left({\boldsymbol X}_{\text C},{\boldsymbol X}_{\text N}\right),\\ &{\boldsymbol V}={f}_{\text{Avg}}\left({\boldsymbol X}_{\text{FB}}\right),\\ &{\boldsymbol V}_{\text{SE}}={f}_{\text{SE}}\left({\boldsymbol V}\right),\\ &{\boldsymbol X}'_{\text{FB}}={\boldsymbol X}_{\text{FB}}\times {\boldsymbol V}_{\text{SE}},\end{aligned}\right. (10)

    其中 {\boldsymbol X}_{\text C},{\boldsymbol X}_{\text N} 分别代表连接特征和节点特征矩阵, {f}_{\text C} 代表拼接操作, {f}_{\text{Avg}} 是全局平均池化,该模块通过 {f}_{\text{Avg}} 将多尺度全脑特征图 {\boldsymbol X}_{\text{FB}}\in {\mathbb{R}}^{2n\times 90\times 90} 变换为 {\boldsymbol V}\in {\mathbb{R}}^{2n} . {\boldsymbol V}_{\text{SE}}\in {\mathbb{R}}^{2n} 代表经过SE模块学习到的注意力分分数, {\boldsymbol X}'_{\text{FB}} 是经过通道注意力模块后的输出. 通过这种方式,模型可以自动学习对分类更重要的脑连接和脑节点中间层特征,从而提高模型的表达能力.

    池化层是减少数据大小并保留有效信息的重要层,因此,在通道注意力模块之后,本文通过特征池化和节点池化来聚合来自边缘和节点的数据:

    {N}_{i}=\sum _{k=1}^{p} X'_{i,k}{w}_{k}^{l} \text{,} (11)
    G=\sum _{k=1}^{n} {N}_{k}{w}_{k}^{l} \text{,} (12)

    其中 p 代表双通道融合特征图的特征维度, X'_{i,k} 代表第 i 个节点的第 k 维特征, {N}_{i} 代表池化后的节点特征, G 代表池化后的图特征, {w}_{k}^{l} 为第l通道的可学习参数,经过这种方式,最终得到每个受试者大脑的256维向量表示.

    在池化层之后,本文研究使用2个全连接层将池化后的256维向量经过2个线性层分别降维到64和2,再经过Softmax层输出最终类别概率,并采用交叉熵损失函数计算损失:

    L\mathrm{_{ce}}=y_{ }\cdot\mathrm{log}\left(p\left(y_{ }\right)\right)+\left(1-y_{ }\right)\mathrm{l}\mathrm{o}\mathrm{g}\left(1-p\left(y_{ }\right)\right), (13)

    其中, {y}_{i} 是二元标签0或者1, p({{y}}_{{i}}) 是输出属于 {y}_{i} 标签的概率. 通过这种方式计算损失值 L 来进行反向传播和参数更新.

    本文使用了ADNI,ABIDE和AIBL这3个公开脑影像数据集来验证EH-GCN对于全连接脑网络分类的有效性. 具体来说,一共使用了1 853名受试者的脑影像数据,其中包括600名ADNI数据集和200名AIBL数据集中挑选的AD患者和正常对照组(normal cognitive,NC)的T1加权成像(T1-weighted imaging,T1WI)数据,以及从ABIDE数据集中挑选了1053名ASD患者和NC的成对T1WI和静息态功能磁共振成像(functional magnetic resonance imaging,fMRI)数据. 数据的详细人口统计学信息如表1所示.

    表  1  人口统计信息
    Table  1.  Demographic Information
    数据集 模态 类别(人数) 年龄 男性人数/女性人数
    ADNI T1WI AD (282) 74.91±7.69 151/131
    NC (318) 73.90±6.18 163/155
    ABIDE T1WI+fMRI ASD (496) 14.72±9.09 423/73
    NC (557) 14.87±9.34 384/173
    AIBL T1WI AD (79) 74.84±7.79 33/46
    NC (121) 74.16±6.59 66/55
    注“±”前后表示平均数和标准差.
    下载: 导出CSV 
    | 显示表格

    此外,本文使用的数据还包括一个公开图数据集FRANKENSTEIN 1,该数据集由分子结构图组成,节点表示构成分子的原子,边缘表示原子之间的连接,其中节点特征包含780个连续值,代表原子的化学性质,每个图的标签代表是否为诱变剂.

    对于所有的T1WI数据,本文将原始的T1WI图像进行N4偏差矫正、线性配准和非线性配准到MNI152标准空间当中. 然后,根据自动解剖标记(AAL)为每90个大脑区域计算与文献[31]中相同的25个影像组学特征,生成25×90的影像组学特征矩阵. 最后使用最小-最大值归一化方法对所有大脑区域的影像组学特征矩阵进行归一化.

    对于所有的fMRI数据,本文均通过SPM 2进行预处理. 分别执行4个步骤:1)对中间切片定时校正;2) 头部运动矫正;3) 使用6 mm全宽半峰(FWHM)高斯核进行去噪和空间平滑. 4) 标准化到标准蒙特利尔神经研究所(MNI)空间,并重新扩展到3×3×3 mm3. 在上述4个步骤结束后,使用AAL图谱将整个大脑划分为90个ROI,并计算每个ROI的平均血氧浓度水平依赖(Blood-Oxygen-Level-Dependent,BOLD)信号,最后使用标准Z-score对平均BOLD信号进行归一化[32]

    {f}_{i}^{*}=\frac{{f}_{i}-{f}_{\mu }}{{f}_{\sigma }} \text{,} (14)

    其中, {f}_{i} 是大脑区域 i 的平均BOLD信号, {f}_{\mu } {f}_{\sigma } 是所有90个BOLD信号的平均值和标准差.

    本文的脑网络是通过脑区特征之间的皮尔逊相关性系数进行构建,假设整个大脑的特征表示为 \boldsymbol {X}=\left({\boldsymbol x}_{1},{\boldsymbol x}_{2}… ,{\boldsymbol x}_{N}\right)\in {\mathbb{R}}^{D\times N} ,其中D代表特征的维度,N代表脑区的数量,该特征可以用影像组学特征或BOLD信号进行表示. 对于第 i 个受试者,第 s 个脑区和第 t 个脑区的连接可表示为:

    {\boldsymbol A}_{i}^{s,t}=\frac{{\left({\boldsymbol x}_{s}-{\bar{\boldsymbol x}}_{s}\right)}^{\text T}\left({\boldsymbol x}_{t}-{\bar{\boldsymbol x}}_{t}\right)}{\sqrt{{\left({\boldsymbol x}_{s}-{\bar{\boldsymbol x}}_{s}\right)}^{\text T}\left({\boldsymbol x}_{s}-{\bar{\boldsymbol x}}_{s}\right)}\sqrt{{\left({\boldsymbol x}_{t}-{\bar{\boldsymbol x}}_{t}\right)}^{\text T}\left({\boldsymbol x}_{t}-{\bar{\boldsymbol x}}_{t}\right)}} \text{.} (15)

    通过这种成对脑区之间的计算方式最终可以获得每个受试者全脑的90×90 的邻接矩阵 {\boldsymbol A}_{i}\in {\mathbb{R}}^{N\times N}(N=90) ,其中,通过影像组学特征构建的脑网络称之为radMBN,通过BOLD信号构建的脑网络称之为FBN.

    本文研究设计2种方案作为模型的输入. 如图2所示,在ADNI和AIBL数据集上,所有受试者采用影像组学特征作为节点特征输入,以及采用radMBN作为连接特征输入;在ABIDE数据集上,由于每个fMRI数据中的时间采集点数量不同,特征维度不统一,因此所有受试者使用影像组学特征作为脑区节点特征,并使用FBN作为连接特征输入.

    图  2  脑网络构建和模型输入
    Figure  2.  Brain network construction and model input

    本文研究在ADNI上进行AD诊断任务,在ABIDE数据集进行ASD诊断任务,以及在AIBL数据集上进行AD诊断的外部数据集验证,以全面评估提出的EH-GCN框架的诊断性能. 实验过程中采用10倍交叉验证策略进行验证,评估指标采用准确率(accuracy,ACC)、敏感性(sensitivity,SEN)、特异性(specificity,SPE)、曲线下面积(area under curve,AUC)四个指标. 本文研究的实验是在NVIDIA RTX 3090图形处理器上进行的,采用的开发环境是pytorch1.9.0. 在模型训练时期共进行了100次迭代,使用了Adam优化器,初始学习率为0.001,batch size设置为50.

    为了评估本文提出的EH-GCN在全连接脑网络上分类的优越性,本文与其他10种的分类方法进行了对比,其中包括2种传统的机器学习方法,如SVM和RF,5种常见的GCN框架及变体,如GCN[16],Chebyshev_GCN[15],GAT[17],Graph SAGE[18], GIN[19],以及3种流行的用于脑连接分析的GCN框架,如SGCN[25],TGCN[26],BrainGNN[27]. 其中所有模型的输入都是基于皮尔逊相关性构建的全连接脑网络.

    与其他方法相比,EH-GCN在ADNI和ABIDE两个数据集上都实现了最优的分类效果,如表2所示. 例如,在ADNI数据集上的NC和AD的分类中,实现了ACC=0.898,SEN=0.869,SPE=0.915和AUC=0.934的优异分类,相比于其他方法提高了3.7~35.4个百分点. 在ABIDE数据集上的NC和ASD分类中,实现了ACC=0.698、SEN=0.706、SPE=0.682和AUC=0.721的优异分类性能,相比于其他方法提高了8.8~16.8个百分点. 此外,如图3所示,接收者工作特征曲线(receiver operating characteristic curve,ROC)曲线也表明EH-GCN具有更好的分类性.

    表  2  使用全连接脑网络在不同方法上的分类性能比较
    Table  2.  Comparison of Classification Performance Using Fully Connected Brain Networks on Different Methods
    数据集 方法 ACC SEN SPE AUC
    ADNI SVM 0.813 0.784 0.840 0.889
    RF 0.797 0.731 0.855 0.879
    Chebyshev_GCN 0.838 0.812 0.861 0.907
    GCN 0.700 0.652 0.741 0.765
    GAT 0.828 0.784 0.867 0.885
    Graph SAGE 0.861 0.826 0.896 0.912
    GIN 0.652 0.613 0.685 0.707
    SGCN 0.544 0.436 0.642 0.613
    TGCN 0.712 0.602 0.810 0.794
    BrainGNN 0.835 0.748 0.912 0.888
    EH-GCN(本文) 0.898 0.869 0.915 0.934
    ABIDE SVM 0.610 0.591 0.624 0.624
    RF 0.585 0.666 0.511 0.596
    Chebyshev_GCN 0.605 0.567 0.641 0.674
    GCN 0.562 0.323 0.775 0.596
    GAT 0.566 0.504 0.621 0.616
    Graph SAGE 0.589 0.544 0.629 0.593
    GIN 0.555 0.399 0.695 0.565
    SGCN 0.529 0.478 0.574 0.581
    TGCN 0.546 0.481 0.604 0.602
    BrainGNN 0.548 0.462 0.626 0.575
    EH-GCN(本文) 0.698 0.706 0.682 0.721
    注:黑体数值表示结果最优.
    下载: 导出CSV 
    | 显示表格
    图  3  不同方法上分类的ROC曲线
    Figure  3.  ROC curves on classification of different methods

    为了深入分析EH-GCN各组件和参数对模型的作用和贡献,本文进行了消融实验,以探究各组件影响分类性能.

    首先,本文将EH-GCN模型的架构拆分成2个部分,其中包括仅使用脑节点特征通道(node feature channel,NFC)的模型,本文称它为NFAN(node feature attention network),还有一个仅使用脑连接特征通道(connectivity feature channel,CFC)的模型,本文称它为CFAN(connectivity feature attention network)从而探究不同的特征通道对分类的影响. 另外,本文还进一步研究了注意力机制在EH-GCN模型中的作用. 通过移除原始EH-GCN模型中的注意力组件,本文创建了一个新的变体,命名为ES-GCN(element-wise separation GCN).

    实验结果如表3所示,在2个数据集上,与单通道相比,仅去除注意力机制的ES-GCN的分类性能得到了有效的提高,这表明将脑连接特征学习通道和脑节点特征学习通道相结合,可以捕捉大脑更全面的信息,而单独使用任何一种通道都不能完全提取这些信息. 另外,消融实验结果还显示,通过添加通道注意力机制,EH-GCN 在2个数据集上的ACCAUC分别提高了2/1.8个百分点和5.3/5.1个百分点,这表明注意力机制可以自动关注对哪些节点连接的浅层特征或深层特征对分类更加重要,从而提高分类性能.

    表  3  不同模型组件对结果的影响
    Table  3.  Impact of Different Model Components on the Results
    数据集 方法 ACC SEN SPE AUC
    ADNI NFAN 0.869 0.833 0.902 0.913
    CFAN 0.735 0.709 0.757 0.795
    ES-GCN 0.878 0.865 0.890 0.916
    EH-GCN(本文) 0.898 0.869 0.915 0.934
    ABIDE NFAN 0.564 0.567 0.562 0.584
    CFAN 0.609 0.458 0.744 0.610
    ES-GCN 0.649 0.600 0.655 0.670
    EH-GCN(本文) 0.698 0.706 0.682 0.721
    注:黑体数值表示结果最优.
    下载: 导出CSV 
    | 显示表格

    此外,本文还设计了另外一个消融实验,以探究连接学习通道中的连接卷积阶数S对分类结果的影响. 对于一个包含N个节点的图,任意2个节点之间的S阶连接数量为NS–1. 以本文90个节点的图为例,任意2个节点的2阶连接数量为90个,3阶连接数量为902=8 100个,其模型的参数量呈指数级增长,在S=3及以上时有极高的计算复杂度和内存要求. 鉴于内存和算力的限制,同时也为了保证模型对比的公平性以便开展与S=3情况下的比较实验,本实验对模型进行了简化,删除了原有的节点学习通道和注意力模块,仅保留1层卷积层、2个池化层以及2个线性层. 其中每一层卷积如式(7)定义,分别设置S=1,S=2,S=3进行了实验.

    实验结果如表4所示,可以看出,当设S=1时,在2个数据集上都具有最差的性能表现,而S=2时性能得到了明显的提升,并在ABIDE数据集上取得了最好的性能(ACC=0.619,AUC=0.656). 此外,尽管当S=3时,在ADNI数据集上取得了最好的性能(ACC=0.738,AUC=0.808),但由于其计算量巨大,内存要求极高,且性能表现不稳定(比ABIDE中S=2时ACC低2个百分点),因此综合考虑,EH-GCN设S=2作为每层卷积的超参数. 此外,传统的GCN每次卷积仅考虑一阶邻居,但通过堆叠多个卷积层,可以学习到全局特征. 类似地,尽管EH-GCN只选择考虑2阶连接,但通过多个卷积层堆叠,依然可以从大脑连接中学习到高阶连接特征.

    表  4  连接卷积阶数对结果的影响
    Table  4.  Impact of Connection Convolutional Order on the Results
    数据集 连接卷积阶数 ACC SEN SPE AUC
    ADNI S=1 0.712 0.480 0.913 0.745
    S=2 0.731 0.632 0.818 0.802
    S=3 0.738 0.706 0.769 0.808
    ABIDE S=1 0.550 0.130 0.922 0.597
    S=2 0.619 0.634 0.603 0.656
    S=3 0.599 0.816 0.402 0.637
    注:黑体数值表示结果最优.
    下载: 导出CSV 
    | 显示表格

    为了验证EH-GCN 在不同数据集上的泛化能力,本文在ADNI数据集上进行了模型训练,并在AIBL数据集上进行了外部测试以及与3.3节中的8种图学习方法进行了对比. 结果如表5所示,EH-GCN 仍然表现出最佳的分类性能,其ACC=0.895,AUC=0.940,明显优于其他方法. 特别值得注意的是,在使用GCN进行外部测试时,SEN=0,而SPE=1. 这意味着GCN模型在外部数据集中无法正确识别任何正例,这在临床应用中是不可接受的. 而由于EH-GCN采用对节点特征和连接特征的分离化学习,因此具有更强大的泛化能力.

    表  5  用ADNI做训练集在AIBL上的测试结果
    Table  5.  Test Results of ADNI Used as Training Set on AIBL
    方法 ACC SEN SPE AUC
    Chebyshev_GCN 0.770 0.480 0.958 0.881
    GCN 0.605 0.000 1.000 0.565
    GAT 0.820 0.807 0.825 0.887
    Graph SAGE 0.835 0.720 0.908 0.908
    GIN 0.590 0.100 0.909 0.563
    SGCN 0.563 0.253 0.765 0.550
    TGCN 0.602 0.386 0.741 0.665
    BrainGNN 0.640 0.102 0.992 0.792
    EH-GCN(本文) 0.895 0.873 0.909 0.940
    注:黑体数值表示结果最优.
    下载: 导出CSV 
    | 显示表格

    为了进一步验证EH-GCN模型在不同类型图数据集上的适应性和泛化性,本文选用了公开的稀疏图数据集FRANKENSTEIN进行图分类任务的实验. 实验结果,如表6所示,EH-GCN在与10种其他方法的对比中展现出卓越性能,其ACC最高达到0.631,比其他方法高出3~13.1个百分点. 这不仅证明了EH-GCN在处理稠密图数据的优势,也显示了其在稀疏图数据集上的适用性,进一步突显了其鲁棒性和出色的泛化能力.

    表  6  在FRANKENSTEIN数据集上的实验结果
    Table  6.  Experimental Results on FRANKENSTEIN Dataset
    方法 ACC SEN SPE AUC
    SVM 0.536 0.692 0.320 0.481
    RF 0.500 0.656 0.282 0.472
    Chebyshev_GCN 0.544 0.720 0.303 0.513
    GCN 0.574 0.683 0.415 0.586
    GAT 0.529 0.876 0.049 0.462
    Graph SAGE 0.600 0.719 0.412 0.611
    GIN 0.549 0.766 0.256 0.569
    SGCN 0.510 0.504 0.521 0.536
    TGCN 0.529 0.683 0.317 0.505
    BrainGNN 0.548 0.736 0.292 0.496
    EH-GCN(本文) 0.631 0.837 0.342 0.614
    注:黑体数值表示结果最优.
    下载: 导出CSV 
    | 显示表格

    除了准确进行分类以外,探索疾病与大脑区域(即预测模型的输出和输入)之间的关系也非常重要,因为它可以揭示在疾病进展过程中大脑区域和连通性变化. 在本节中,本文通过计算输入特征的梯度来判断哪些脑区和连接对于疾病的影响比较大,由此判定为重要脑区. 受Li等人[28]启发,在本文的深度学习模型中,将预测输出 p\left(y_{ }\right) 和交叉熵(cross entropy)损失函数Lce与其真实标签 y_{ } 进行比较,通过链式规则,梯度可以计算为:

    grad\left(x_i^n\right)=\frac{\partial L\mathrm{_{ce}}}{\partial x_i^n}=\frac{\partial L\mathrm{_{ce}}}{\partial y}\frac{\partial y}{\partial x_i}\text{,} (16)

    其中 {x}_{i}^{n} 是输入的第 i 个脑区的第 n 个特征, grad\left({x}_{i}^{n}\right) 可以通过Pytorch深度学习框架中自动反向传播(BP)算法来计算. 在研究重要脑区时,对每个脑区的所有特征梯度进行求和,如式(17)所示:

    {\boldsymbol \alpha }_{i}=\sum _{n=1}^{{N}_{f}}grad\left({x}_{i}^{n}\right), (17)

    其中, {N}_{f} 代表节点特征的维度, \alpha_i 代表第 i 个脑区的重要程度.

    在研究重要脑区连接时,类似地,通过式(18)本文获得包含所有连接特征的梯度矩阵 grad\left({\boldsymbol A}\right) ,由于这种情况获得的矩阵通常是不对称的,这与对称的输入连通性矩阵相矛盾,因此本文进行了对称操作:

    grad\left({\boldsymbol A}\right)=grad({\boldsymbol A} )+ {grad\left({\boldsymbol A}\right)}^{\text T}. (18)

    以上计算均基于个体级的,在本实验中通过对所有受试者的脑区特征和脑连接特征的梯度取平均,按照梯度大小排序,前10个重要脑区和重要连接的详细名字如表7所示. 重要脑区和连接可视化效果如图4图5所示.

    表  7  前10个重要脑区和连接
    Table  7.  Top Ten Important Brain Regions and Connections
    数据集 NFC CFC
    ADNI 右侧海马 右侧回直肌—右侧尾状核
    左侧杏仁核 右侧回直肌—右侧颞下回
    左侧海马 右侧眶内额上回—右侧回直肌
    右侧海马旁回 右侧顶上回—左侧豆状壳核
    颞下回 右侧回直肌—左侧海马
    左侧海马旁回 右侧回直肌—左侧眶部额中回
    左侧眶部额下回 右侧回直肌—左侧距状裂周围皮层
    右侧杏仁核 右侧回直肌—左侧舌回
    左侧舌回 右侧眶部额上回—右侧尾状核
    右侧中央沟盖 右侧回直肌—右侧豆状壳核
    ABIDE 左侧杏仁核 右侧回直肌—右侧颞极:颞中回
    左侧中央沟盖 左侧眶部额中回—右侧回直肌
    右侧眶内额上回 右侧眶部额下回— 右侧枕下回
    右侧岛盖部额下回 右侧额中回—左侧杏仁核
    右侧颞极:颞上回 右侧眶部额下回—右侧回直肌
    右侧眶部额上回 右侧眶部额下回—左侧脑岛
    左侧豆状苍白球 左侧眶部额中回—右侧眶部额下回
    左侧颞横回 右侧嗅皮层—右侧回直肌
    左侧颞极:颞中回 右侧眶内额上回 —右侧回直肌
    左侧嗅皮质 右侧枕上回—右侧枕下回
    下载: 导出CSV 
    | 显示表格
    图  4  重要节点可视化
    注:节点大小代表重要程度
    Figure  4.  Visualization of important nodes
    图  5  重要连接可视化
    注:线条粗细代表重要程度
    Figure  5.  Visualization of important connections

    图4图5的分析结果显示,在ADNI数据集中,NFC主要捕获了海马、海马旁回和杏仁核等脑区,而CFC则突出了回直肌、尾状核和豆状壳核等区域的重要连接. 在ABIDE数据集中,NFC捕获的关键脑区包括杏仁核、右侧眶内额上回和颞极等,而CFC则更多关注了右侧回直肌和右侧眶部额下回的重要连接. 这2个通道所关注的重要脑区在很大程度上是不交叉的,说明它们分别提取了不同但互补的大脑信息,从而共同促进了分类效果的准确性.

    本文提出了一种基于元素分离与整体注意力的图卷积网络框架(EH-GCN),该框架通过对图的节点特征和连接特征分离学习以及整体化注意力的特征整合,解决了传统GCN处理稠密连接图时的过度平滑和多余连接的噪声干扰等限制. 实验结果表明,EH-GCN 模型在2个数据集上展现出比其他方法更卓越的分类能力. 通过消融实验,验证了采用元素化分离学习以及整体化注意力机制的各组件的重要性,以及连接卷积阶数对结果的影响. 此外,对重要脑区与连接的分析也进一步证明了该模型在生物学上的可解释性.

    与其他分类方法的对比实验结果显示,传统的GCN模型在处理如脑网络这类的全连接图时,并未表现出显著的优势. 在ADNI数据上,相比于其他几种方法,GraphSAGE具有更好的性能,这可能归因于GraphSAGE通过邻居采样减少了每个节点需要考虑的邻居数量,从而降低了计算复杂度,并支持稀疏化策略有利于GCN更好地学习的观点[14]. 特别注意的是,在2个数据集上,传统机器学习方法SVM和RF在性能上均优于某些图学习方法GCN和GIN. 特别是在ABIDE数据集上的10种对比方法中,SVM分类器取得了最高的ACC,尽管它仅使用功能连接特征作为输入. 这表明在区分ASD和正常人时,大量的节点特征是冗余无关的,也从另一角度说明了传统基于节点邻域聚合的图学习方法可能并不适用.

    在本文的消融实验中,探索了2个学习通道以及整体化注意力模块在不同医学影像数据集上对于分类性能的影响. 在ADNI数据集上,NFAN比CFAN在ACCAUC方面分别高出13.4个百分点和11.8个百分点,这突显了在诊断AD时节点特征的重要性. 相反,在ABIDE数据集上,本文观察到NFAN的ACCAUC分别比CFAN低4.5个百分点和2.6个百分点,这表明在诊断ASD时功能连接特征可能扮演了更关键的角色. 在EH-GCN中,通过引入注意力机制,模型可以更有效地区分和利用对特定疾病更具信息量的特征,无论是节点特征还是连接特征,模型能够更准确地识别和分析各种疾病的特征,提供更精确的分类效果.

    深度学习模型的可解释性在临床环境中也很重要[33],并引起了越来越多的关注. 在ADNI数据集在NFC捕获的前10个重要脑区,包括双侧海马、双侧海马旁回以及双侧杏仁核6个脑区,这些是AD疾病中众所周知且高度相关的脑区,并在认知功能退化和记忆丧失方面扮演着关键角色[34-35]. 而在CFC捕获的前10个重要连接中有7个与右侧回直肌相关,这也在先前的研究中被大量报道[36-38]. 在ABIDE数据集中,NFC捕获的前10个重要脑区的分析结果显示了与ASD相关的多个关键脑区的变化. 这些包括左侧杏仁核、左侧中央沟盖、右侧眶内额上回、右侧岛盖部额下回;右侧颞极:颞上回、右侧眶部额上回、左侧豆状苍白球、左侧颞横回;左侧颞极:颞中回和左侧嗅皮质. 这些脑区的涉及可能反映了ASD在社交处理、感觉处理、情感调节和认知功能方面的复杂性. 例如,杏仁核可能与ASD患者在情感处理和社交反应方面的障碍有关[39],而左侧豆状苍白球的变化可能与运动功能和学习习惯的异常相关[40]. CFC捕获的重要脑区连接中大量分布在额叶,特别是,其中有8个与右侧回直肌和右侧眶部额下回相关,这也与之前关于ASD的神经影像学生物标志物报告和病理学研究一致[41-42]. 以上这些发现不仅解释了元素化分离学习的互补特性在脑网络分类中的性能改进,同时能够揭示疾病特定的神经网络模式和关键脑区,为理解神经退行性疾病和神经发育疾病的底层机制提供了新的视角.

    作者贡献声明:祝传振提出模型思路和实验方案,并完成实验和撰写论文;王璇提出指导意见并修改论文;郑强提出指导意见并最终审核.

    https://chrsmrrs.github.io/datasets/docs/datasets/
    http://www.fil.ion.ucl.ac.uk/spm/
  • 图  1   基于元素分离与整体注意力的图卷积网络框架

    Figure  1.   Element separation and holistic attention based graph convolutional network framework

    图  2   脑网络构建和模型输入

    Figure  2.   Brain network construction and model input

    图  3   不同方法上分类的ROC曲线

    Figure  3.   ROC curves on classification of different methods

    图  4   重要节点可视化

    注:节点大小代表重要程度

    Figure  4.   Visualization of important nodes

    图  5   重要连接可视化

    注:线条粗细代表重要程度

    Figure  5.   Visualization of important connections

    表  1   人口统计信息

    Table  1   Demographic Information

    数据集 模态 类别(人数) 年龄 男性人数/女性人数
    ADNI T1WI AD (282) 74.91±7.69 151/131
    NC (318) 73.90±6.18 163/155
    ABIDE T1WI+fMRI ASD (496) 14.72±9.09 423/73
    NC (557) 14.87±9.34 384/173
    AIBL T1WI AD (79) 74.84±7.79 33/46
    NC (121) 74.16±6.59 66/55
    注“±”前后表示平均数和标准差.
    下载: 导出CSV

    表  2   使用全连接脑网络在不同方法上的分类性能比较

    Table  2   Comparison of Classification Performance Using Fully Connected Brain Networks on Different Methods

    数据集 方法 ACC SEN SPE AUC
    ADNI SVM 0.813 0.784 0.840 0.889
    RF 0.797 0.731 0.855 0.879
    Chebyshev_GCN 0.838 0.812 0.861 0.907
    GCN 0.700 0.652 0.741 0.765
    GAT 0.828 0.784 0.867 0.885
    Graph SAGE 0.861 0.826 0.896 0.912
    GIN 0.652 0.613 0.685 0.707
    SGCN 0.544 0.436 0.642 0.613
    TGCN 0.712 0.602 0.810 0.794
    BrainGNN 0.835 0.748 0.912 0.888
    EH-GCN(本文) 0.898 0.869 0.915 0.934
    ABIDE SVM 0.610 0.591 0.624 0.624
    RF 0.585 0.666 0.511 0.596
    Chebyshev_GCN 0.605 0.567 0.641 0.674
    GCN 0.562 0.323 0.775 0.596
    GAT 0.566 0.504 0.621 0.616
    Graph SAGE 0.589 0.544 0.629 0.593
    GIN 0.555 0.399 0.695 0.565
    SGCN 0.529 0.478 0.574 0.581
    TGCN 0.546 0.481 0.604 0.602
    BrainGNN 0.548 0.462 0.626 0.575
    EH-GCN(本文) 0.698 0.706 0.682 0.721
    注:黑体数值表示结果最优.
    下载: 导出CSV

    表  3   不同模型组件对结果的影响

    Table  3   Impact of Different Model Components on the Results

    数据集 方法 ACC SEN SPE AUC
    ADNI NFAN 0.869 0.833 0.902 0.913
    CFAN 0.735 0.709 0.757 0.795
    ES-GCN 0.878 0.865 0.890 0.916
    EH-GCN(本文) 0.898 0.869 0.915 0.934
    ABIDE NFAN 0.564 0.567 0.562 0.584
    CFAN 0.609 0.458 0.744 0.610
    ES-GCN 0.649 0.600 0.655 0.670
    EH-GCN(本文) 0.698 0.706 0.682 0.721
    注:黑体数值表示结果最优.
    下载: 导出CSV

    表  4   连接卷积阶数对结果的影响

    Table  4   Impact of Connection Convolutional Order on the Results

    数据集 连接卷积阶数 ACC SEN SPE AUC
    ADNI S=1 0.712 0.480 0.913 0.745
    S=2 0.731 0.632 0.818 0.802
    S=3 0.738 0.706 0.769 0.808
    ABIDE S=1 0.550 0.130 0.922 0.597
    S=2 0.619 0.634 0.603 0.656
    S=3 0.599 0.816 0.402 0.637
    注:黑体数值表示结果最优.
    下载: 导出CSV

    表  5   用ADNI做训练集在AIBL上的测试结果

    Table  5   Test Results of ADNI Used as Training Set on AIBL

    方法 ACC SEN SPE AUC
    Chebyshev_GCN 0.770 0.480 0.958 0.881
    GCN 0.605 0.000 1.000 0.565
    GAT 0.820 0.807 0.825 0.887
    Graph SAGE 0.835 0.720 0.908 0.908
    GIN 0.590 0.100 0.909 0.563
    SGCN 0.563 0.253 0.765 0.550
    TGCN 0.602 0.386 0.741 0.665
    BrainGNN 0.640 0.102 0.992 0.792
    EH-GCN(本文) 0.895 0.873 0.909 0.940
    注:黑体数值表示结果最优.
    下载: 导出CSV

    表  6   在FRANKENSTEIN数据集上的实验结果

    Table  6   Experimental Results on FRANKENSTEIN Dataset

    方法 ACC SEN SPE AUC
    SVM 0.536 0.692 0.320 0.481
    RF 0.500 0.656 0.282 0.472
    Chebyshev_GCN 0.544 0.720 0.303 0.513
    GCN 0.574 0.683 0.415 0.586
    GAT 0.529 0.876 0.049 0.462
    Graph SAGE 0.600 0.719 0.412 0.611
    GIN 0.549 0.766 0.256 0.569
    SGCN 0.510 0.504 0.521 0.536
    TGCN 0.529 0.683 0.317 0.505
    BrainGNN 0.548 0.736 0.292 0.496
    EH-GCN(本文) 0.631 0.837 0.342 0.614
    注:黑体数值表示结果最优.
    下载: 导出CSV

    表  7   前10个重要脑区和连接

    Table  7   Top Ten Important Brain Regions and Connections

    数据集 NFC CFC
    ADNI 右侧海马 右侧回直肌—右侧尾状核
    左侧杏仁核 右侧回直肌—右侧颞下回
    左侧海马 右侧眶内额上回—右侧回直肌
    右侧海马旁回 右侧顶上回—左侧豆状壳核
    颞下回 右侧回直肌—左侧海马
    左侧海马旁回 右侧回直肌—左侧眶部额中回
    左侧眶部额下回 右侧回直肌—左侧距状裂周围皮层
    右侧杏仁核 右侧回直肌—左侧舌回
    左侧舌回 右侧眶部额上回—右侧尾状核
    右侧中央沟盖 右侧回直肌—右侧豆状壳核
    ABIDE 左侧杏仁核 右侧回直肌—右侧颞极:颞中回
    左侧中央沟盖 左侧眶部额中回—右侧回直肌
    右侧眶内额上回 右侧眶部额下回— 右侧枕下回
    右侧岛盖部额下回 右侧额中回—左侧杏仁核
    右侧颞极:颞上回 右侧眶部额下回—右侧回直肌
    右侧眶部额上回 右侧眶部额下回—左侧脑岛
    左侧豆状苍白球 左侧眶部额中回—右侧眶部额下回
    左侧颞横回 右侧嗅皮层—右侧回直肌
    左侧颞极:颞中回 右侧眶内额上回 —右侧回直肌
    左侧嗅皮质 右侧枕上回—右侧枕下回
    下载: 导出CSV
  • [1]

    Xia Feng, Sun Ke, Yu Shuo, et al. Graph learning: A survey[J]. IEEE Transactions on Artificial Intelligence, 2021, 2(2): 109−127 doi: 10.1109/TAI.2021.3076021

    [2]

    Kamarajan C, Ardekani B A, Pandey A K, et al. Random forest classification of alcohol use disorder using fMRI functional connectivity, neuropsychological functioning, and impulsivity measures[J]. Brain Sciences, 2020, 10(2): 115 doi: 10.3390/brainsci10020115

    [3]

    Zhao Kun, Zheng Qiang, Dyrba M, et al. Regional radiomics similarity networks reveal distinct subtypes and abnormality patterns in mild cognitive impairment[J]. Advanced Science, 2022, 9(12): e2104538 doi: 10.1002/advs.202104538

    [4]

    Jyotiyana M, Kesswani N. Classification and prediction of Alzheimer's disease using multi-layer perceptron[J]. International Journal of Reasoning-based Intelligent Systems, 2020, 12(4): 255−263 doi: 10.1504/IJRIS.2020.111785

    [5] 常亮,邓小明,周明全,等. 图像理解中的卷积神经网络[J]. 自动化学报,2016,42(9):1300−1312

    Chang Liang, Deng Xiaoming, Zhou Mingquan, et al. Convolutional neural networks in image understanding[J]. Acta Automatica Sinica, 2016, 42(9): 1300−1312 (in Chinese)

    [6]

    Wang Yuan, Wang Yao, Lui Y W. Generalized recurrent neural network accommodating dynamic causal modeling for functional MRI analysis[J]. NeuroImage, 2018, 178: 385−402 doi: 10.1016/j.neuroimage.2018.05.042

    [7]

    Kaur R, Kumar R, Gupta M. Deep neural network for food image classification and nutrient identification: A systematic review[J]. Reviews in Endocrine Metabolic Disorders, 2023, 24: 633−653 doi: 10.1007/s11154-023-09795-4

    [8]

    Kshatri S S, Singh D. Convolutional neural network in medical image analysis: A review[J]. Archives of Computational Methods in Engineering, 2023, 30(4): 2793−2810 doi: 10.1007/s11831-023-09898-w

    [9] 徐冰冰,岑科廷,黄俊杰,等. 图卷积神经网络综述[J]. 计算机学报,2020,43(5):755−780 doi: 10.11897/SP.J.1016.2020.00755

    Xu Bingbing, Cen Keting, Huang Junjie, et al. A survey on graph conolutional neural network[J]. Chinese Journal of Computers, 2020, 43(5): 755−780 (in Chinese). doi: 10.11897/SP.J.1016.2020.00755

    [10]

    Yin Guimei, Chang Ying, Zhao Yanli, et al. Automatic recognition of schizophrenia from brain-network features using graph convolutional neural network[J]. Asian Journal of Psychiatry, 2023, 87: 103687 doi: 10.1016/j.ajp.2023.103687

    [11]

    Wen Guangqi, Cao Peng, Bao Huiwen, et al. MVS-GCN: A prior brain structure learning-guided multi-view graph convolution network for autism spectrum disorder diagnosis[J]. Computers in Biology and Medicine, 2022, 142: 105239 doi: 10.1016/j.compbiomed.2022.105239

    [12]

    Yao Dongren, Sui Jing, Wang Mingliang, et al. A mutual multi-scale triplet graph convolutional network for classification of brain disorders using functional or structural connectivity[J]. IEEE Transactions on Medical Imaging, 2021, 40(4): 1279−1289 doi: 10.1109/TMI.2021.3051604

    [13]

    Song Zixing, Yang Xiangli, Xu Zenglin, et al. Graph-based semi-supervised learning: A comprehensive review[J]. IEEE Transactions on Neural Networks Learning Systems, 2023, 34(11): 8174−8194 doi: 10.1109/TNNLS.2022.3155478

    [14]

    Zheng C, Zong B, Cheng W, et al. Robust graph representation learning via neural sparsification[C]//Proc of the Int Conf on Machine Learning. Virtual: PMLR, 2020: 11458−11468

    [15]

    Defferrard M, Bresson X, Vandergheynst P. Convolutional neural networks on graphs with fast localized spectral filtering[C]//Proc of the Advances in Neural Information Processing Systems. Barcelona, Spain: NIPS Foundation, 2016: 3844−3852

    [16]

    Kipf T N, Welling M. Semi-supervised classification with graph convolutional networks[J]. arXiv preprint, arXiv: 02907, 2016

    [17]

    Veličković P, Cucurull G, Casanova A, et al. Graph attention networks[C]//Proc of the Int Conf on Learning Representations (ICLR). Vancouver, Canada: openReview, 2018: 1−12

    [18]

    Hamilton W, Ying Z, Leskovec J. Inductive representation learning on large graphs[C]//Proc of the Advances in Neural Information Processing Systems 30 (NIPS 2017). Long Beach, CA, United states, NIPS Foundation, 2017: 1025−1035

    [19]

    Xu Keyulu, Hu Weihua, Leskovec J, et al. How powerful are graph neural networks?[J]. arXiv preprint, arXiv: 00826, 2018

    [20]

    Wu Zonghan, Pan Shirui, Chen Fengwen, et al. A comprehensive survey on graph neural networks[J]. IEEE Transactions on Neural Networks, 2020, 32(1): 4−24

    [21]

    Bullmore E, Sporns O. Complex brain networks: Graph theoretical analysis of structural and functional systems[J]. Nature Reviews Neuroscience, 2009, 10(3): 186−198 doi: 10.1038/nrn2575

    [22]

    Jin Suting, Zeng Xiangxiang, Xia Feng, et al. Application of deep learning methods in biological networks[J]. Briefings in Bioinformatics, 2021, 22(2): 1902−1917 doi: 10.1093/bib/bbaa043

    [23]

    Zhou Houliang, He Lifang, Zhang Yu, et al. Interpretable graph convolutional network of multi-modality brain imaging for Alzheimer’s disease diagnosis[C]//Proc of the 2022 IEEE 19th Int Symp on Biomedical Imaging (ISBI). Piscataway, NJ: IEEE, 2022: 1−5

    [24]

    Xu Ruting, Zhu Qi, Li Shengrong, et al. MSTGC: Multi-channel spatio-temporal graph convolution network for multi-modal brain networks fusion[J]. IEEE Transactions on Neural Systems Rehabilitation Engineering, 2023, 31: 2359−2369 doi: 10.1109/TNSRE.2023.3275608

    [25]

    Ktena S I, Parisot S, Ferrante E, et al. Metric learning with spectral graph convolutions on brain connectivity networks[J]. NeuroImage, 2018, 169: 431−442 doi: 10.1016/j.neuroimage.2017.12.052

    [26]

    Yao Dongren, Liu Mingxia, Wang Mingliang, et al. Triplet graph convolutional network for multi-scale analysis of functional connectivity using functional MRI[C]//Proc of the Graph Learning in Medical Imaging: First International Workshop. Berlin: Springer, 2019: 70−78

    [27]

    Li Xiaoxiao, Zhou Yuan. BrainGNN: Interpretable brain graph neural network for fMRI analysis[J]. Medical Image Analysis, 2021, 74: 102233 doi: 10.1016/j.media.2021.102233

    [28]

    Li Yu, Zhang Xin, Nie Jiangxin, et al. Brain connectivity based graph convolutional networks and its application to infant age prediction[J]. IEEE Transactions on Medical Imaging, 2022, 41(10): 2764−2776 doi: 10.1109/TMI.2022.3171778

    [29]

    Taud H, Mas J. Multilayer perceptron [J]. Geomatic Approaches for Modeling Land Change Scenarios, 2018: 451−455

    [30]

    Hu Jie, Shen Li, Sun Gang. Squeeze-and-excitation networks[C]//Proc of the IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2018: 7132−7141

    [31]

    Zhao Kun, Zheng Qiang, Che Tongtong, et al. Regional radiomics similarity networks (R2SNs) in the human brain: Reproducibility, small-world properties and a biological basis[J]. Network Neuroscience, 2021, 5(3): 783−797

    [32]

    Jain A, Nandakumar K, Ross A. Score normalization in multimodal biometric systems[J]. Pattern Recognition, 2005, 38(12): 2270−2285 doi: 10.1016/j.patcog.2005.01.012

    [33]

    Rasheed K, Qayyum A, Ghaly M, et al. Explainable, trustworthy, and ethical machine learning for healthcare: A survey[J]. Computers in Biology and Medicine, 2022, 149: 106043 doi: 10.1016/j.compbiomed.2022.106043

    [34]

    Köhler S, Black S, Sinden M, et al. Memory impairments associated with hippocampal versus parahippocampal-gyrus atrophy: An MR volumetry study in Alzheimer’s disease[J]. Neuropsychologia, 1998, 36(9): 901−914 doi: 10.1016/S0028-3932(98)00017-7

    [35]

    Poulin S P, Dautoff R, Morris J C, et al. Amygdala atrophy is prominent in early Alzheimer's disease and relates to symptom severity[J]. Psychiatry Research, 2011, 194(1): 7−13 doi: 10.1016/j.pscychresns.2011.06.014

    [36]

    Feng Qi, Wang Mei, Song Qiaowei, et al. Correlation between hippocampus MRI radiomic features and resting-state intrahippocampal functional connectivity in Alzheimer’s disease[J]. Frontiers in Neuroscience, 2019, 13: 435 doi: 10.3389/fnins.2019.00435

    [37]

    Xiang Jie, Guo Hao, Cao Rui, et al. An abnormal resting-state functional brain network indicates progression towards Alzheimer's disease[J]. Neural Regeneration Research, 2013, 8(30): 2789

    [38]

    Lin Xu, Liu Xiaoli, Chen Zhengzhen, et al. Multi-index analysis of regional brain activity in patients with Alzheimer’s disease during resting state[J]. Acta Anatomica Sinica, 2023, 54(1): 75

    [39]

    Kleinhans N M, Richards T, Weaver K, et al. Association between amygdala response to emotional faces and social anxiety in autism spectrum disorders[J]. Neuropsychologia, 2010, 48(12): 3665−3670 doi: 10.1016/j.neuropsychologia.2010.07.022

    [40]

    Doyon J, Bellec P, Amsel R, et al. Contributions of the basal ganglia and functionally related brain structures to motor learning[J]. Behavioural Brain Research, 2009, 199(1): 61−75 doi: 10.1016/j.bbr.2008.11.012

    [41]

    Duan Yumei, Zhao Weidong, Luo Cheng, et al. Identifying and predicting autism spectrum disorder based on multi-site structural MRI with machine learning[J]. Frontiers in Human Neuroscience, 2022, 15: 765517 doi: 10.3389/fnhum.2021.765517

    [42]

    Xu Shoujun, Li Meng, Yang Chunlan, et al. Altered functional connectivity in children with low-function autism spectrum disorders[J]. Frontiers in Neuroscience, 2019, 13: 806 doi: 10.3389/fnins.2019.00806

图(5)  /  表(7)
计量
  • 文章访问数:  128
  • HTML全文浏览量:  29
  • PDF下载量:  46
  • 被引次数: 0
出版历程
  • 收稿日期:  2024-02-29
  • 修回日期:  2024-05-13
  • 网络出版日期:  2024-07-04
  • 刊出日期:  2024-07-31

目录

/

返回文章
返回