图数据是由节点（实体）和边（实体间的关系）组成的独特结构，是表示和分析社交网络、分子结构、脑网络等复杂系统的理想模型^[1]. 然而，非结构化数据独有的高度复杂性和动态性使得传统的机器学习方法，如随机森林（random forest，RF）和支持向量机（support vector machine，SVM）^[2-3]，在处理大规模图数据时存在一定的限制，尤其难以有效捕捉并利用图结构中的高级信息. 随着深度学习的出现，研究者们已经开发出了从海量数据中识别高级特征的有效工具，如用于矢量的多层感知器（multi-layer perceptron，MLP）^[4]、用于网格数据的卷积神经网络（convolutional neural network，CNN）^[5]以及用于序列的递归神经网络（recurrent neural network，RNN）^[6]. 它们展现出比传统机器学习方法更强大的特征提取能力. 特别是，卷积神经网络因其强大的特征提取能力，在基于自然图像^[7]和医学图像^[8]的分类和回归问题上取得了巨大成功. 然而，图数据是非欧氏空间数据，与传统网格状图像数据存在显著差异，这使得在图数据上直接使用传统的卷积神经网络方法存在一定的挑战.

随着深度学习技术的发展和图数据的广泛应用，研究人员将卷积神经网络的局部结构建模能力从传统的欧式空间扩展到非欧式空间，从而发展出了图卷积网络（graph convolutional network，GCN）^[9]. GCN的核心机制是在图结构数据上通过邻居节点的特征信息聚合来更新每个节点的表示. 随着多个图卷积层的叠加，可以有效地学习图数据的深层特征. 基于这些特性，GCN已经被广泛地应用于基于脑网络的脑疾病诊断. 例如，Yin等人^[10]提出了一种基于GCN从脑网络特征自动识别精神分裂症的方法，通过融合动态图卷积和自适应学习，实现了对精神分裂症患者和正常对照组的精准识别，并探讨了每个重要区域的节点拓扑特征与临床评价指标之间的相关性. Wen等人^[11]提出了一种先验脑结构学习引导的多视图卷积神经网络（multi-view graph convolutional neural network，MVS-GCN），该网络将图结构学习和多任务图嵌入学习相结合，提高了自闭症诊断性能并能识别潜在的功能子网络. Yao等人^[12]设计了一种相互多尺度三元组图卷积网络（mutual multi-scale triplet graph convolutional network，MMTGCN），用于利用功能磁共振成像（functional magnetic resonance imaging，fMRI）和弥散磁共振成像数据进行脑网络分析，并验证了其对阿尔茨海默症（Alzheimer's disease，AD）和多动症诊断的有效性.

尽管GCN在处理图数据方面比传统深度学习方法具有更好的表现，但仍存在3点限制：1）在处理脑网络这种稠密连接图时，传统的GCN容易出现计算量大的问题，因为需要处理和计算大量的节点及其邻域信息. 2）传统GCN算法基于节点的邻域信息聚合机制容易导致整个网络图出现过度平滑现象^[13]，特别是在多个卷积层后，这会弱化网络图的表达能力. 3）虽然稀疏图的构建能够在一定程度上缓解过度平滑现象，但它容易导致信息丢失，并且由于稀疏化过程缺乏统一标准，不同的稀疏方法可能会在节点特征聚合的过程中引入额外的噪声，从而损害图卷积网络的整体性能^[14].

在这种背景下，迫切需要改进和扩展传统GCN，以适应脑网络这种具有稠密连接，且节点和边都具有丰富特征的全连接图. 鉴于此，本文提出了一种基于元素分离与整体注意力的图卷积网络模型（EH-GCN），有效解决了传统GCN处理稠密图时的局限性. 具体而言，该模型使用元素化分离策略设计了2个通道来单独学习图的连接特征和节点特征，然后对2个通道的不同神经网络层特征进行拼接，从而获得了多尺度全脑特征. 另外，还引入整体化注意力，使得模型能够更加关注不同神经网络层以及节点和连接特征的重要程度. 为了验证EH-GCN的优越性，共有600名来自阿尔茨海默病神经成像倡议（Alzheimer’s disease neuroimaging initiative，ADNI）数据集和1053名来自自闭症脑成像数据交换（Autism brain imaging data exchange，ABIDE）数据集的参与者，以及200名来自澳大利亚成像、生物标志物和生活方式研究（Australian imaging，biomarkers and lifestyle flagship study of ageing，AIBL）数据集的参与者的脑影像进行了实验. 实验结果显示，在使用未稀疏化的全连接脑网络作为模型输入的情况下，对AD和自闭症谱系障碍（Autism spectrum disorder，ASD）诊断方面仍然分别达到了89.8%和69.8%的优越准确率，并在AIBL阿尔茨海默症数据集的外部测试中达到了89.5%的准确率. 相较于传统GCN方法，具有明显的提升. 随后，在FRANKENSTEIN化学分子图数据集上验证了其强大的泛化能力. 此外，通过对模型关注的重要脑区和连接进行的可解释性分析，可以发现这些重点区域与之前的大多数研究结果一致，这不仅证明了本文方法的有效性，也为未来在脑神经疾病研究领域的应用提供了可靠的支持.

1.   相关工作

1.1   图卷积网络（GCN）

GCN的理论基础来自于图论中的谱图理论，该方法利用图拉普拉斯矩阵$\boldsymbol L$的特征分解来分析图结构. 图拉普拉斯矩阵可以分解为${\boldsymbol L}={\boldsymbol U}{\boldsymbol \varLambda }{\boldsymbol U}^{\text T}$，其中${\boldsymbol U}$是归一化拉普拉斯矩阵的特征向量组成的矩阵，Λ是对角矩阵，包含L的特征值. 图卷积定义为图信号${\boldsymbol X}\in {\mathbb{R}}^{N}$与滤波器${g}_{\theta }$的乘积，在谱域中的表示为：

其中${g}_{\theta }=diag\left(\theta \right)$，$\theta$是要学习的参数.

这种卷积操作虽然简单易懂，但也存在一个较大的问题，即在处理大规模图数据时，学习的参数量较多，极易产生过拟合问题，且不具有局部性性质. 为了解决这个问题，Defferrard等人^[15]利用切比雪夫多项式来设计卷积核中的滤波器，这种设计具有计算效率高和适应性强的优势. 该操作可表示为：

其中$\tilde {\boldsymbol L}=2{\boldsymbol L}/{\lambda }_{\text{max}}-{\boldsymbol I}$，${\lambda }_{\text{max}}$是L 的最大特征值. 切比雪夫多项式${{T}}_{k}\left({\boldsymbol x}\right)$定义为：

且$T_0\left(\boldsymbol{x}\right)=1$，$T_1\left(\boldsymbol{x}\right)=\boldsymbol{x}$. 该方法避免直接计算特征分解，从而大幅度降低计算成本. 同时可以通过调整多项式的阶数K，可以在保留更多局部信息（低阶）和捕捉更广泛的全局信息（高阶）之间进行权衡，使其不再依赖于图的大小和结构，适用于各种不同的图.

为了更加简化卷积过程并降低参数量，Kipf 等人^[16]将K 阶局部卷积运算限制为K=1，则该卷积可简化为：

令${\theta }_{0}={\theta }_{1}=\theta$

在这里，$\theta$是一个标量，它对频率响应函数进行了缩放. 在神经网络模型中，这类缩放通常通过归一化操作来替代，因此引入θ作为一个单独的参数是非必要的. 设$\theta =1$，并将${\boldsymbol I}+{\boldsymbol L}$替换为${\tilde {D}^{-\tfrac{1}{2}}}\tilde {A}{\tilde {D}^{-\tfrac{1}{2}}}X$，其中$\tilde {A}=A+I,{\tilde {D}}_{ii}=\sum\limits_j{\tilde {A}}_{ij}$，从而防止梯度爆炸或消失，最终得到的图卷积在文献[16]中被定义为：

其中${\boldsymbol \varTheta }$代表滤波器的参数矩阵，${\boldsymbol Z}$代表卷积后的节点特征矩阵. 通常称式（6）为图卷积层（GCN layer），以此为主体堆叠多层的神经网络模型称为GCN模型. 此外，GCN的多种变体如图注意力网络（graph attention network，GAT）^[17]，Graph SAGE^[18]，以及图同构网络（graph isomorphic network，GIN）^[19]等，通过引入新的卷积方法和消息传递机制，增强了GCN在多样化图数据处理和各种复杂应用场景中的适应性和性能.

1.2   GCN在脑网络中的应用

GCN将传统的卷积神经网络从欧几里得数据（例如，2D或3D图像）推广到非欧几里得域（例如，图和流形），并已成为一种很有前途的图挖掘方法^[20]. 在基于脑网络的GCN模型中，整个大脑可以视为一个图. 具体来说，每个受试者的大脑被分为多个区域（也称为感兴趣区域，即ROI），每个大脑区域可以用一个节点来表示，2个节点之间的连通性可以描述人脑网络中的功能/结构连接模式，这些连接模式在全脑尺度上具有独特的图/网络结构^[21]. 通常把每个脑网络定义为一个图$G=\{V,E\}$，其中顶点集 $V=\{{v}_{1}, {v}_{2},…, {v}_{{N}_{b}}\}$指的是大脑中的脑区（也可以称之为节点），${N}_{b}$是大脑区域的数量. 每个脑区（或脑区节点）一般都有一个特征向量，从而生成整个脑区的特征矩阵 ${\boldsymbol X}= \left({\boldsymbol x}_{1},{\boldsymbol x}_{2}… ,{\boldsymbol x}_{{N}_{b}}\right)\in {\mathbb{R}}^{{N}_{f}\times {N}_{b}}$，其中 ${N}_{f}$是每个节点的特征维度. 此外，$E$表示不同节点之间的边集，每条边都由连接度值加权，由邻接矩阵${\boldsymbol A}\in {\mathbb{R}}^{{N}_{b}\times {N}_{b}}$表示. 大脑的这种图数据表示称之为脑图. 通过将这种脑图应用到GCN模型中，研究者能够有效地学习和分析大脑区域之间的复杂互动和关联.

1.3   GCN在脑网络中的研究进展

近年来，GCN在脑网络数据中得到了广泛应用，并取得了重大进展. GCN可以捕获网络的拓扑信息，并挖掘大脑连接网络中用于疾病分类的有用模式^[22]. 例如，Zhou等人^[23]提出了一种可解释的GCN框架，用于使用多模式脑成像数据识别和诊断AD，并将Grad-CAM应用于GCN模型，以解释显著的脑区；Xu等人^[24]开发了一种基于图对比学习的自适应多通道GCN（MSTGC）融合框架，该框架不仅能有效挖掘多模态脑网络的互补性和判别性特征，还能捕捉脑网络的动态特征和拓扑结构，并在识别癫痫患者和正常对照组方面取得了优异的诊断性能；Ktena等人^[25]提出使用Siamese GCN （SGCN）来分析自闭症的脑功能连接网络，通过使用2个权重共享的GCN来测量成对图或网络之间的差异，从而实现脑网络的分类和疾病诊断；Yao等人^[26]将这种基于成对相似性的学习策略扩展到受试者之间的三重关系（即受试者与其他不同类别受试者的关系），提出了三重GCN（TGCN），并实现多动症和自闭症的有效诊断. 此外，Li等人^[27]还提出了一个端对端的可解释的图神经网络BrainGNN，该框架通过具有ROI的图卷积层和ROI选择池化层，并通过正则化项增强ROI选择效果，在自闭症数据集上获得了与之前的神经影像学证据高度一致的ROI和优异的诊断性能.

2.   基于元素分离与整体注意力的GCN框架

本文提出的基于元素分离与整体注意力的GCN框架主要分为3个部分，分别为元素分离学习模块、整体注意力模块和图池化模块，下面将详细叙述这3个模块.

2.1   元素分离学习模块

1）连接特征学习通道

在脑网络研究中，大脑区域之间的关系是复杂而多层次的. 大脑区域之间除了直接连接之外，还存在着间接连接，这种间接连接通过其他中间大脑区域进行信息交流，并起着至关重要的作用.

假设有2个大脑区域，称为区域$i$和区域$j$，这2个区域之间的直接连接表示为$i$→$j$，对于其他间接连接，例如通过另一个大脑区域$k$的连接$i$→$k$→$j$. 尽管i和j之间的直接连接可能较弱或无连接，但它们仍然可以通过连接$i$→$k$→$j$相互关联.

为了更好地描述$i$到$j$之间的通信，本文引入了连接的阶数的概念. 例如，将$i$到$j$的直接连接$i$→$j$定义为1阶连接，而连接$i$→$k$→$j$定义为2阶连接. 通过这种方式，可以考虑到更多的通信连接，能够更全面地捕捉到大脑区域之间的相互作用. 受Li等人^[28]启发，节点$i$到节点$j$的所有连接信息可以由公式表示：

其中，${A}_{i,j}^{s,k}$表示节点$i$和节点$j$之间的第$k$条$s$阶连接，${EC}_{i,j}$是$i$和$j$之间所有连接信息的聚合. $S$是最高价连接的阶数，$\left|{A}_{i,j}^{S,\mathrm{*}}\right|$是$S$阶连接的数量${w}_{s,k}$与${\theta }_{s}$是可学习的参数. 这种方式可以将数据从1阶连接聚合到$S$阶连接，并从这些连接中提取有意义的特征.

然而，上述方法存在计算复杂度高和参数量大的问题. 对于一个包含N个节点的图，任意2个节点之间的S阶连接数量为N^S–1（以本文90个节点的图为例，任意2个节点的3阶连接数量为90²=8100），其模型的参数量呈指数级增长. 受Kipf等人^[16]启发，为了简化模型，本文设$S$=2,只考虑1阶连接和2阶连接，并且将${w}_{s,k}{\theta }_{s}$设为${w}_{k}$. 简化后的连接卷积表示为：

其中，${A}_{i,j}^{l+1}$代表第$l$+1层的节点i与节点j的连接信息，n是节点的数量，${w}_{k}^{l}$是$l$层的第1阶和2阶连接的可学习参数. 尽管在这个简化的过程中，只考虑1阶和2阶连接，但通过堆叠几个连接卷积层，可以从大脑连接中学习高阶连接的有意义特征. 本文将这种操作定义为脑连接卷积（brain connectivity convolution，BCC）.

2）节点特征学习通道

传统的GCN的方法是通过对节点的邻域进行信息聚合来实现节点特征的学习. 在全连接图中，由于每个节点与所有其他节点之间都存在连接，节点的聚合包含了所有其他节点的信息，这种过度聚合会使得节点的特征变得过于相似（即过度平滑），进而掩盖了节点自身的独特和重要特征.

为了更好地学习节点特征，使其不受冗余复杂的连接特征所干扰，本文设计了一个使用多层感知机（multilayer perceptron，MLP）^[29]组成的图节点特征学习通道，该通道可以将节点的初始特征映射到一个新的表示空间中. 由于每个节点的特征映射是相互独立的，每个节点的更新仅依赖于其自身的特征而不是其邻居的特征. 这种独立性减少了特征在不同节点间的信息交互，从而避免了过度聚合的风险. 每一层的MLP由多个神经元（称为全连接层（FC））组成，每一层的线性变换过程如式（9）所示：

其中${x}_{i}^{l}$代表第$i$个节点的第$l$层特征，${x}_{i}^{l+1}$代表第$i$个节点的第$l$+1层特征，${\boldsymbol{W}}^{l}$和${\boldsymbol{b}}^{l}$分别是第$l$层的权重和偏置，$\sigma (\cdot )$为激活函数. 通过这种方式，每个神经元都能够以不同的方式加权组合和转换特征，这有利于节点中潜在抽象特征模式的提取.

该通道在第一层将90×25初始大小的节点特征矩阵通过FC转换为与边特征矩阵相同的90×90节点特征矩阵，并在后续每层中实行相同的矩阵大小，以便能够与连接特征矩阵进行拼接.

2.2   整体注意力模块

在神经网络中，浅层的神经网络可能会导致特征提取不充分，而过深的神经网络可能会带来过拟合. 因此，网络层数的选择是一个重要且需要细致考虑的问题. 为了解决这个问题，本文设计了一个整体化注意力模块，如图1所示，该模块能够自动学习重要的脑连接和脑节点深层特征和浅层特征. 具体来说，本文将上述脑连接特征学习通道和节点特征学习通道的中间层特征进行提取并拼接，构成多尺度全脑特征图${X}_{\text{FB}}\in {\mathbb{R}}^{2n\times 90\times 90}$，其中$n$代表中间层的数量. 受挤压和激励网络（SE Net）^[30]启发，在获得多尺度全脑特征之后，可以通过全局平均池化得到一个通道数维度的向量. 然后，使用3个带激活函数的全连接层来学习注意力向量，该向量通过乘法作用于数据的通道上. 整个通道注意力过程如式（10）所示.

图  1  基于元素分离与整体注意力的图卷积网络框架

Figure  1.  Element separation and holistic attention based graph convolutional network framework

下载: 全尺寸图片 幻灯片

其中${\boldsymbol X}_{\text C}，{\boldsymbol X}_{\text N}$分别代表连接特征和节点特征矩阵，${f}_{\text C}$代表拼接操作，${f}_{\text{Avg}}$是全局平均池化，该模块通过${f}_{\text{Avg}}$将多尺度全脑特征图${\boldsymbol X}_{\text{FB}}\in {\mathbb{R}}^{2n\times 90\times 90}$变换为${\boldsymbol V}\in {\mathbb{R}}^{2n}$. ${\boldsymbol V}_{\text{SE}}\in {\mathbb{R}}^{2n}$代表经过SE模块学习到的注意力分分数，${\boldsymbol X}'_{\text{FB}}$是经过通道注意力模块后的输出. 通过这种方式，模型可以自动学习对分类更重要的脑连接和脑节点中间层特征，从而提高模型的表达能力.

2.3   图池化模块

池化层是减少数据大小并保留有效信息的重要层，因此，在通道注意力模块之后，本文通过特征池化和节点池化来聚合来自边缘和节点的数据：

其中$p$代表双通道融合特征图的特征维度，$X'_{i,k}$代表第$i$个节点的第$k$维特征，${N}_{i}$代表池化后的节点特征，$G$代表池化后的图特征，${w}_{k}^{l}$为第l通道的可学习参数，经过这种方式，最终得到每个受试者大脑的256维向量表示.

在池化层之后，本文研究使用2个全连接层将池化后的256维向量经过2个线性层分别降维到64和2，再经过Softmax层输出最终类别概率，并采用交叉熵损失函数计算损失：

其中，${y}_{i}$是二元标签0或者1，$p({{y}}_{{i}})$是输出属于${y}_{i}$标签的概率. 通过这种方式计算损失值$L$来进行反向传播和参数更新.

3.   实验与结果

本文使用了ADNI，ABIDE和AIBL这3个公开脑影像数据集来验证EH-GCN对于全连接脑网络分类的有效性. 具体来说，一共使用了1 853名受试者的脑影像数据，其中包括600名ADNI数据集和200名AIBL数据集中挑选的AD患者和正常对照组（normal cognitive，NC）的T1加权成像（T1-weighted imaging，T1WI）数据，以及从ABIDE数据集中挑选了1053名ASD患者和NC的成对T1WI和静息态功能磁共振成像（functional magnetic resonance imaging，fMRI）数据. 数据的详细人口统计学信息如表1所示.

表  1  人口统计信息

Table  1.  Demographic Information

数据集	模态	类别（人数）	年龄	男性人数/女性人数
ADNI	T1WI	AD (282)	74.91±7.69	151/131
		NC (318)	73.90±6.18	163/155
ABIDE	T1WI+fMRI	ASD (496)	14.72±9.09	423/73
		NC (557)	14.87±9.34	384/173
AIBL	T1WI	AD (79)	74.84±7.79	33/46
		NC (121)	74.16±6.59	66/55
注“±”前后表示平均数和标准差.

下载: 导出CSV 

| 显示表格

此外，本文使用的数据还包括一个公开图数据集FRANKENSTEIN ¹，该数据集由分子结构图组成，节点表示构成分子的原子，边缘表示原子之间的连接，其中节点特征包含780个连续值，代表原子的化学性质，每个图的标签代表是否为诱变剂.

对于所有的T1WI数据，本文将原始的T1WI图像进行N4偏差矫正、线性配准和非线性配准到MNI152标准空间当中. 然后，根据自动解剖标记（AAL）为每90个大脑区域计算与文献[31]中相同的25个影像组学特征，生成25×90的影像组学特征矩阵. 最后使用最小-最大值归一化方法对所有大脑区域的影像组学特征矩阵进行归一化.

对于所有的fMRI数据，本文均通过SPM ²进行预处理. 分别执行4个步骤：1）对中间切片定时校正；2） 头部运动矫正；3） 使用6 mm全宽半峰（FWHM）高斯核进行去噪和空间平滑. 4） 标准化到标准蒙特利尔神经研究所（MNI）空间，并重新扩展到3×3×3 mm³. 在上述4个步骤结束后，使用AAL图谱将整个大脑划分为90个ROI，并计算每个ROI的平均血氧浓度水平依赖（Blood-Oxygen-Level-Dependent，BOLD）信号，最后使用标准Z-score对平均BOLD信号进行归一化^[32]：

其中，${f}_{i}$是大脑区域$i$的平均BOLD信号，${f}_{\mu }$和${f}_{\sigma }$是所有90个BOLD信号的平均值和标准差.

本文的脑网络是通过脑区特征之间的皮尔逊相关性系数进行构建，假设整个大脑的特征表示为$\boldsymbol {X}=\left({\boldsymbol x}_{1},{\boldsymbol x}_{2}… ,{\boldsymbol x}_{N}\right)\in {\mathbb{R}}^{D\times N}$，其中D代表特征的维度，N代表脑区的数量，该特征可以用影像组学特征或BOLD信号进行表示. 对于第$i$个受试者，第$s$个脑区和第$t$个脑区的连接可表示为：

通过这种成对脑区之间的计算方式最终可以获得每个受试者全脑的90×90 的邻接矩阵${\boldsymbol A}_{i}\in {\mathbb{R}}^{N\times N}(N=90)$，其中，通过影像组学特征构建的脑网络称之为radMBN，通过BOLD信号构建的脑网络称之为FBN.

3.1   实验设置与评估指标

本文研究设计2种方案作为模型的输入. 如图2所示，在ADNI和AIBL数据集上，所有受试者采用影像组学特征作为节点特征输入，以及采用radMBN作为连接特征输入；在ABIDE数据集上，由于每个fMRI数据中的时间采集点数量不同，特征维度不统一，因此所有受试者使用影像组学特征作为脑区节点特征，并使用FBN作为连接特征输入.

图  2  脑网络构建和模型输入

Figure  2.  Brain network construction and model input

下载: 全尺寸图片 幻灯片

本文研究在ADNI上进行AD诊断任务，在ABIDE数据集进行ASD诊断任务，以及在AIBL数据集上进行AD诊断的外部数据集验证，以全面评估提出的EH-GCN框架的诊断性能. 实验过程中采用10倍交叉验证策略进行验证，评估指标采用准确率（accuracy，ACC）、敏感性（sensitivity，SEN）、特异性（specificity，SPE）、曲线下面积（area under curve，AUC）四个指标. 本文研究的实验是在NVIDIA RTX 3090图形处理器上进行的，采用的开发环境是pytorch1.9.0. 在模型训练时期共进行了100次迭代，使用了Adam优化器，初始学习率为0.001，batch size设置为50.

3.2   对比实验

为了评估本文提出的EH-GCN在全连接脑网络上分类的优越性，本文与其他10种的分类方法进行了对比，其中包括2种传统的机器学习方法，如SVM和RF，5种常见的GCN框架及变体，如GCN^[16]，Chebyshev_GCN^[15]，GAT^[17]，Graph SAGE^[18]， GIN^[19]，以及3种流行的用于脑连接分析的GCN框架，如SGCN^[25]，TGCN^[26]，BrainGNN^[27]. 其中所有模型的输入都是基于皮尔逊相关性构建的全连接脑网络.

与其他方法相比，EH-GCN在ADNI和ABIDE两个数据集上都实现了最优的分类效果，如表2所示. 例如，在ADNI数据集上的NC和AD的分类中，实现了ACC=0.898，SEN=0.869，SPE=0.915和AUC=0.934的优异分类，相比于其他方法提高了3.7~35.4个百分点. 在ABIDE数据集上的NC和ASD分类中，实现了ACC=0.698、SEN=0.706、SPE=0.682和AUC=0.721的优异分类性能，相比于其他方法提高了8.8~16.8个百分点. 此外，如图3所示，接收者工作特征曲线（receiver operating characteristic curve，ROC）曲线也表明EH-GCN具有更好的分类性.

表  2  使用全连接脑网络在不同方法上的分类性能比较

Table  2.  Comparison of Classification Performance Using Fully Connected Brain Networks on Different Methods

数据集	方法	ACC	SEN	SPE	AUC
ADNI	SVM	0.813	0.784	0.840	0.889
	RF	0.797	0.731	0.855	0.879
	Chebyshev_GCN	0.838	0.812	0.861	0.907
	GCN	0.700	0.652	0.741	0.765
	GAT	0.828	0.784	0.867	0.885
	Graph SAGE	0.861	0.826	0.896	0.912
	GIN	0.652	0.613	0.685	0.707
	SGCN	0.544	0.436	0.642	0.613
	TGCN	0.712	0.602	0.810	0.794
	BrainGNN	0.835	0.748	0.912	0.888
	EH-GCN（本文）	0.898	0.869	0.915	0.934
ABIDE	SVM	0.610	0.591	0.624	0.624
	RF	0.585	0.666	0.511	0.596
	Chebyshev_GCN	0.605	0.567	0.641	0.674
	GCN	0.562	0.323	0.775	0.596
	GAT	0.566	0.504	0.621	0.616
	Graph SAGE	0.589	0.544	0.629	0.593
	GIN	0.555	0.399	0.695	0.565
	SGCN	0.529	0.478	0.574	0.581
	TGCN	0.546	0.481	0.604	0.602
	BrainGNN	0.548	0.462	0.626	0.575
	EH-GCN（本文）	0.698	0.706	0.682	0.721
注：黑体数值表示结果最优.

下载: 导出CSV 

| 显示表格

图  3  不同方法上分类的ROC曲线

Figure  3.  ROC curves on classification of different methods

下载: 全尺寸图片 幻灯片

3.3   消融实验

为了深入分析EH-GCN各组件和参数对模型的作用和贡献，本文进行了消融实验，以探究各组件影响分类性能.

首先，本文将EH-GCN模型的架构拆分成2个部分，其中包括仅使用脑节点特征通道（node feature channel，NFC）的模型，本文称它为NFAN（node feature attention network），还有一个仅使用脑连接特征通道（connectivity feature channel，CFC）的模型，本文称它为CFAN（connectivity feature attention network）从而探究不同的特征通道对分类的影响. 另外，本文还进一步研究了注意力机制在EH-GCN模型中的作用. 通过移除原始EH-GCN模型中的注意力组件，本文创建了一个新的变体，命名为ES-GCN（element-wise separation GCN）.

实验结果如表3所示，在2个数据集上，与单通道相比，仅去除注意力机制的ES-GCN的分类性能得到了有效的提高，这表明将脑连接特征学习通道和脑节点特征学习通道相结合，可以捕捉大脑更全面的信息，而单独使用任何一种通道都不能完全提取这些信息. 另外，消融实验结果还显示，通过添加通道注意力机制，EH-GCN 在2个数据集上的ACC和AUC分别提高了2/1.8个百分点和5.3/5.1个百分点，这表明注意力机制可以自动关注对哪些节点连接的浅层特征或深层特征对分类更加重要，从而提高分类性能.

表  3  不同模型组件对结果的影响

Table  3.  Impact of Different Model Components on the Results

数据集	方法	ACC	SEN	SPE	AUC
ADNI	NFAN	0.869	0.833	0.902	0.913
	CFAN	0.735	0.709	0.757	0.795
	ES-GCN	0.878	0.865	0.890	0.916
	EH-GCN（本文）	0.898	0.869	0.915	0.934
ABIDE	NFAN	0.564	0.567	0.562	0.584
	CFAN	0.609	0.458	0.744	0.610
	ES-GCN	0.649	0.600	0.655	0.670
	EH-GCN（本文）	0.698	0.706	0.682	0.721
注：黑体数值表示结果最优.

下载: 导出CSV 

| 显示表格

此外，本文还设计了另外一个消融实验，以探究连接学习通道中的连接卷积阶数S对分类结果的影响. 对于一个包含N个节点的图，任意2个节点之间的S阶连接数量为N^S–1. 以本文90个节点的图为例，任意2个节点的2阶连接数量为90个，3阶连接数量为90²=8 100个，其模型的参数量呈指数级增长，在S=3及以上时有极高的计算复杂度和内存要求. 鉴于内存和算力的限制，同时也为了保证模型对比的公平性以便开展与S=3情况下的比较实验，本实验对模型进行了简化，删除了原有的节点学习通道和注意力模块，仅保留1层卷积层、2个池化层以及2个线性层. 其中每一层卷积如式（7）定义，分别设置S=1，S=2，S=3进行了实验.

实验结果如表4所示，可以看出，当设S=1时，在2个数据集上都具有最差的性能表现，而S=2时性能得到了明显的提升，并在ABIDE数据集上取得了最好的性能（ACC=0.619，AUC=0.656）. 此外，尽管当S=3时，在ADNI数据集上取得了最好的性能（ACC=0.738，AUC=0.808），但由于其计算量巨大，内存要求极高，且性能表现不稳定（比ABIDE中S=2时ACC低2个百分点），因此综合考虑，EH-GCN设S=2作为每层卷积的超参数. 此外，传统的GCN每次卷积仅考虑一阶邻居，但通过堆叠多个卷积层，可以学习到全局特征. 类似地，尽管EH-GCN只选择考虑2阶连接，但通过多个卷积层堆叠，依然可以从大脑连接中学习到高阶连接特征.

表  4  连接卷积阶数对结果的影响

Table  4.  Impact of Connection Convolutional Order on the Results

数据集	连接卷积阶数	ACC	SEN	SPE	AUC
ADNI	S=1	0.712	0.480	0.913	0.745
	S=2	0.731	0.632	0.818	0.802
	S=3	0.738	0.706	0.769	0.808
ABIDE	S=1	0.550	0.130	0.922	0.597
	S=2	0.619	0.634	0.603	0.656
	S=3	0.599	0.816	0.402	0.637
注：黑体数值表示结果最优.

下载: 导出CSV 

| 显示表格

3.4   泛化能力验证

为了验证EH-GCN 在不同数据集上的泛化能力，本文在ADNI数据集上进行了模型训练，并在AIBL数据集上进行了外部测试以及与3.3节中的8种图学习方法进行了对比. 结果如表5所示，EH-GCN 仍然表现出最佳的分类性能，其ACC=0.895，AUC=0.940，明显优于其他方法. 特别值得注意的是，在使用GCN进行外部测试时，SEN=0，而SPE=1. 这意味着GCN模型在外部数据集中无法正确识别任何正例，这在临床应用中是不可接受的. 而由于EH-GCN采用对节点特征和连接特征的分离化学习，因此具有更强大的泛化能力.

表  5  用ADNI做训练集在AIBL上的测试结果

Table  5.  Test Results of ADNI Used as Training Set on AIBL

方法	ACC	SEN	SPE	AUC
Chebyshev_GCN	0.770	0.480	0.958	0.881
GCN	0.605	0.000	1.000	0.565
GAT	0.820	0.807	0.825	0.887
Graph SAGE	0.835	0.720	0.908	0.908
GIN	0.590	0.100	0.909	0.563
SGCN	0.563	0.253	0.765	0.550
TGCN	0.602	0.386	0.741	0.665
BrainGNN	0.640	0.102	0.992	0.792
EH-GCN（本文）	0.895	0.873	0.909	0.940
注：黑体数值表示结果最优.

下载: 导出CSV 

| 显示表格

为了进一步验证EH-GCN模型在不同类型图数据集上的适应性和泛化性，本文选用了公开的稀疏图数据集FRANKENSTEIN进行图分类任务的实验. 实验结果，如表6所示，EH-GCN在与10种其他方法的对比中展现出卓越性能，其ACC最高达到0.631，比其他方法高出3~13.1个百分点. 这不仅证明了EH-GCN在处理稠密图数据的优势，也显示了其在稀疏图数据集上的适用性，进一步突显了其鲁棒性和出色的泛化能力.

表  6  在FRANKENSTEIN数据集上的实验结果

Table  6.  Experimental Results on FRANKENSTEIN Dataset

方法	ACC	SEN	SPE	AUC
SVM	0.536	0.692	0.320	0.481
RF	0.500	0.656	0.282	0.472
Chebyshev_GCN	0.544	0.720	0.303	0.513
GCN	0.574	0.683	0.415	0.586
GAT	0.529	0.876	0.049	0.462
Graph SAGE	0.600	0.719	0.412	0.611
GIN	0.549	0.766	0.256	0.569
SGCN	0.510	0.504	0.521	0.536
TGCN	0.529	0.683	0.317	0.505
BrainGNN	0.548	0.736	0.292	0.496
EH-GCN（本文）	0.631	0.837	0.342	0.614
注：黑体数值表示结果最优.

下载: 导出CSV 

| 显示表格

3.5   重要脑区与连接

除了准确进行分类以外，探索疾病与大脑区域（即预测模型的输出和输入）之间的关系也非常重要，因为它可以揭示在疾病进展过程中大脑区域和连通性变化. 在本节中，本文通过计算输入特征的梯度来判断哪些脑区和连接对于疾病的影响比较大，由此判定为重要脑区. 受Li等人^[28]启发，在本文的深度学习模型中，将预测输出$p\left(y_{ }\right)$和交叉熵（cross entropy）损失函数L_ce与其真实标签$y_{ }$进行比较，通过链式规则，梯度可以计算为：

其中${x}_{i}^{n}$是输入的第$i$个脑区的第$n$个特征，$grad\left({x}_{i}^{n}\right)$可以通过Pytorch深度学习框架中自动反向传播（BP）算法来计算. 在研究重要脑区时，对每个脑区的所有特征梯度进行求和，如式（17）所示：

其中，${N}_{f}$代表节点特征的维度，$\alpha_i$代表第$i$个脑区的重要程度.

在研究重要脑区连接时，类似地，通过式（18）本文获得包含所有连接特征的梯度矩阵$grad\left({\boldsymbol A}\right)$，由于这种情况获得的矩阵通常是不对称的，这与对称的输入连通性矩阵相矛盾，因此本文进行了对称操作：

以上计算均基于个体级的，在本实验中通过对所有受试者的脑区特征和脑连接特征的梯度取平均，按照梯度大小排序，前10个重要脑区和重要连接的详细名字如表7所示. 重要脑区和连接可视化效果如图4和图5所示.

表  7  前10个重要脑区和连接

Table  7.  Top Ten Important Brain Regions and Connections

数据集	NFC	CFC
ADNI	右侧海马	右侧回直肌—右侧尾状核
	左侧杏仁核	右侧回直肌—右侧颞下回
	左侧海马	右侧眶内额上回—右侧回直肌
	右侧海马旁回	右侧顶上回—左侧豆状壳核
	颞下回	右侧回直肌—左侧海马
	左侧海马旁回	右侧回直肌—左侧眶部额中回
	左侧眶部额下回	右侧回直肌—左侧距状裂周围皮层
	右侧杏仁核	右侧回直肌—左侧舌回
	左侧舌回	右侧眶部额上回—右侧尾状核
	右侧中央沟盖	右侧回直肌—右侧豆状壳核
ABIDE	左侧杏仁核	右侧回直肌—右侧颞极：颞中回
	左侧中央沟盖	左侧眶部额中回—右侧回直肌
	右侧眶内额上回	右侧眶部额下回— 右侧枕下回
	右侧岛盖部额下回	右侧额中回—左侧杏仁核
	右侧颞极：颞上回	右侧眶部额下回—右侧回直肌
	右侧眶部额上回	右侧眶部额下回—左侧脑岛
	左侧豆状苍白球	左侧眶部额中回—右侧眶部额下回
	左侧颞横回	右侧嗅皮层—右侧回直肌
	左侧颞极：颞中回	右侧眶内额上回 —右侧回直肌
	左侧嗅皮质	右侧枕上回—右侧枕下回

下载: 导出CSV 

| 显示表格

图  4  重要节点可视化

注：节点大小代表重要程度

Figure  4.  Visualization of important nodes

下载: 全尺寸图片 幻灯片

图  5  重要连接可视化

注：线条粗细代表重要程度

Figure  5.  Visualization of important connections

下载: 全尺寸图片 幻灯片

由图4和图5的分析结果显示，在ADNI数据集中，NFC主要捕获了海马、海马旁回和杏仁核等脑区，而CFC则突出了回直肌、尾状核和豆状壳核等区域的重要连接. 在ABIDE数据集中，NFC捕获的关键脑区包括杏仁核、右侧眶内额上回和颞极等，而CFC则更多关注了右侧回直肌和右侧眶部额下回的重要连接. 这2个通道所关注的重要脑区在很大程度上是不交叉的，说明它们分别提取了不同但互补的大脑信息，从而共同促进了分类效果的准确性.

4.   讨论分析

本文提出了一种基于元素分离与整体注意力的图卷积网络框架（EH-GCN），该框架通过对图的节点特征和连接特征分离学习以及整体化注意力的特征整合，解决了传统GCN处理稠密连接图时的过度平滑和多余连接的噪声干扰等限制. 实验结果表明，EH-GCN 模型在2个数据集上展现出比其他方法更卓越的分类能力. 通过消融实验，验证了采用元素化分离学习以及整体化注意力机制的各组件的重要性，以及连接卷积阶数对结果的影响. 此外，对重要脑区与连接的分析也进一步证明了该模型在生物学上的可解释性.

与其他分类方法的对比实验结果显示，传统的GCN模型在处理如脑网络这类的全连接图时，并未表现出显著的优势. 在ADNI数据上，相比于其他几种方法，GraphSAGE具有更好的性能，这可能归因于GraphSAGE通过邻居采样减少了每个节点需要考虑的邻居数量，从而降低了计算复杂度，并支持稀疏化策略有利于GCN更好地学习的观点^[14]. 特别注意的是，在2个数据集上，传统机器学习方法SVM和RF在性能上均优于某些图学习方法GCN和GIN. 特别是在ABIDE数据集上的10种对比方法中，SVM分类器取得了最高的ACC，尽管它仅使用功能连接特征作为输入. 这表明在区分ASD和正常人时，大量的节点特征是冗余无关的，也从另一角度说明了传统基于节点邻域聚合的图学习方法可能并不适用.

在本文的消融实验中，探索了2个学习通道以及整体化注意力模块在不同医学影像数据集上对于分类性能的影响. 在ADNI数据集上，NFAN比CFAN在ACC和AUC方面分别高出13.4个百分点和11.8个百分点，这突显了在诊断AD时节点特征的重要性. 相反，在ABIDE数据集上，本文观察到NFAN的ACC和AUC分别比CFAN低4.5个百分点和2.6个百分点，这表明在诊断ASD时功能连接特征可能扮演了更关键的角色. 在EH-GCN中，通过引入注意力机制，模型可以更有效地区分和利用对特定疾病更具信息量的特征，无论是节点特征还是连接特征，模型能够更准确地识别和分析各种疾病的特征，提供更精确的分类效果.

深度学习模型的可解释性在临床环境中也很重要^[33]，并引起了越来越多的关注. 在ADNI数据集在NFC捕获的前10个重要脑区，包括双侧海马、双侧海马旁回以及双侧杏仁核6个脑区，这些是AD疾病中众所周知且高度相关的脑区，并在认知功能退化和记忆丧失方面扮演着关键角色^[34-35]. 而在CFC捕获的前10个重要连接中有7个与右侧回直肌相关，这也在先前的研究中被大量报道^[36-38]. 在ABIDE数据集中，NFC捕获的前10个重要脑区的分析结果显示了与ASD相关的多个关键脑区的变化. 这些包括左侧杏仁核、左侧中央沟盖、右侧眶内额上回、右侧岛盖部额下回；右侧颞极：颞上回、右侧眶部额上回、左侧豆状苍白球、左侧颞横回；左侧颞极：颞中回和左侧嗅皮质. 这些脑区的涉及可能反映了ASD在社交处理、感觉处理、情感调节和认知功能方面的复杂性. 例如，杏仁核可能与ASD患者在情感处理和社交反应方面的障碍有关^[39]，而左侧豆状苍白球的变化可能与运动功能和学习习惯的异常相关^[40]. CFC捕获的重要脑区连接中大量分布在额叶，特别是，其中有8个与右侧回直肌和右侧眶部额下回相关，这也与之前关于ASD的神经影像学生物标志物报告和病理学研究一致^[41-42]. 以上这些发现不仅解释了元素化分离学习的互补特性在脑网络分类中的性能改进，同时能够揭示疾病特定的神经网络模式和关键脑区，为理解神经退行性疾病和神经发育疾病的底层机制提供了新的视角.

作者贡献声明：祝传振提出模型思路和实验方案，并完成实验和撰写论文；王璇提出指导意见并修改论文；郑强提出指导意见并最终审核.