基于梅尔谱与压缩激励加权量化的语音神经编解码方法

周俊佐; 易江燕; 陶建华; 任勇; 汪涛

doi:10.7544/issn1000-1239.202440329

基于梅尔谱与压缩激励加权量化的语音神经编解码方法

周俊佐^1,,
易江燕^1, ,,
陶建华^{2, 3},
任勇¹,
汪涛¹

1.
中国科学院自动化研究所　北京　100190
2.
清华大学自动化系　北京　100084
3.
清华大学北京信息科学与技术国家研究中心　100084

基金项目: 中国科学院战略性先导科技专项（XDB0500103）；国家自然科学基金项目（62322120，U21B2010，62306316，62206278）

详细信息

作者简介:
周俊佐: 2000年生. 硕士研究生. 主要研究方向为语音合成

易江燕: 1984年生. 博士，硕士生导师. 主要研究方向为语音信息处理、语音生成与鉴别、持续学习

陶建华: 1972年生. 博士，博士生导师. 主要研究方向为智能信息融合与处理、语音处理、情感计算、大数据分析

任勇: 1998年生. 博士. 主要研究方向为语音合成

汪涛: 1996年生. 博士. 主要研究方向为语音合成

通讯作者:
易江燕（jiangyan.yi@nlpr.ia.ac.cn）

中图分类号: TP391
计量
- 文章访问数: 20
- HTML全文浏览量: 8
- PDF下载量: 0
出版历程
- 收稿日期: 2024-05-20
- 修回日期: 2025-03-26
- 录用日期: 2025-04-03
- 网络出版日期: 2025-04-03

Mel Spectrogram and Squeeze-Excitation-Weighted Quantization for Neural Speech Codec

1.
Institute of Automation, Chinese Academy of Sciences, Beijing 100190
2.
Department of Automation, Tsinghua University, Beijing 100084
3.
Beijing National Research Center for Information Science and Technology, Beijing 100084

Funds: This work was supported by the Strategic Priority Research Program of Chinese Academy of Sciences (XDB0500103) and the National Natural Science Foundation of China (62322120, U21B2010, 62306316, 62206278).

More Information

Author Bio:
Zhou Junzuo: born in 2000. Master candidate. His main research interests include text-to-speech

Yi Jiangyan: born in 1984. PhD, Master supervisor. Her main research directions include speech information processing, speech generation and identification, and continuous learning

Tao Jianhua: born in 1972. PhD, PhD supervisor. His main research directions include intelligent information fusion and processing, speech processing, affective computing, and big data analysis

Ren Yong: born in 1998. PhD candidate. His main research interests include text-to speech

Wang Tao: born in 1996. PhD. His main research interests include text-to-speech

摘要

摘要:
目前，以 SoundStream 等为代表的端到端语音神经编解码器在重建语音感知质量方面展现了优异性能. 然而，这些方法需要大量的卷积计算，从而导致较长的编码时间消耗. 为缓解上述问题，提出基于梅尔谱和压缩激励加权量化的神经语音编解码方法. 该方法旨在保持较高语音感知质量的同时降低计算代价，加快运行速度，从而减少时延. 具体而言，采用梅尔谱特征作为输入，借助梅尔谱提取过程中时域压缩的性质，并结合低层卷积编码器以简化运算过程. 此外，借鉴压缩激励网络思想，提取了编码器最后一层输出特征各维度的激励权重，将其作为量化器中计算码本距离时压缩特征各维度的权重系数，由此学习特征间的相关性并优化量化性能. 在 LibriTTS 和 VCTK 数据集上的实验结果表明，该方法显著提升了编码器计算速度，且能在较低比特率时（≤3 Kbps）提升重建语音质量. 以比特率1.5 Kbps时为例，编码计算实时率（real-time factor，RTF）最多可提升4.6倍. 对于感知质量，以0.75 Kbps为例，短时客观可懂度（short-time objective intelligibility，STOI），虚拟语音质量客观评估（virtual speech quality objective listener，VISQOL）等客观指标相较基线平均可提升8.72%. 此外，消融实验不仅表明压缩激励权重方法的优化效果与比特率呈反相关，而且发现Relu激活函数相较周期性质激活函数Snake而言，在语音感知质量相当的情况下，能大量加快运行速度.
- 语音编解码 /
- 梅尔谱图 /
- 压缩激励网络 /
- 残差矢量量化 /
- 生成对抗网络
Abstract:
At present, end-to-end speech neural codecs, represented by SoundStream, have demonstrated outstanding performance in reconstructed speech quality. However, these methods require extensive convolutional computations, leading to lengthy encoding times. To address this issue, this paper introduces a neural speech codec method based on Mel spectrogram and squeezed excitation-weighted quantization. This method aims to maintain high speech perceptual quality while reducing computational costs and increasing operational speed, thereby minimizing latency. Specifically, this paper utilizes Mel spectrogram features as input, capitalizes on the temporal compression properties during Mel spectrogram extraction, and combines a lower-layer convolutional encoder to simplify the computation process. Additionally, inspired by squeezed excitation network concepts, this paper extracts excitation weights for each dimension of the output features from the encoder’s final layer. These weights are used as the weighting coefficients for each dimension of the compressed features when calculating codebook distances in the quantizer, thus enabling the learning of correlations between features and enhancing the performance of quantization. Experimental results on the LibriTTS and VCTK datasets indicate that this method significantly enhances the computational speed of the encoder and improves the reconstructed speech quality at lower bit rates (≤3 Kbps). For instance, at a bitrate of 1.5 Kbps, the Real-Time Factor (RTF) of encoding computations can increase by up to 4.6 times. Regarding perceptual quality, at a bitrate of 0.75 Kbps, objective metrics such as Short-Time Objective Intelligibility (STOI) and Virtual Speech Quality Objective Listener (VISQOL) show an average improvement of 8.72% compared to the baseline. Additionally, ablation studies not only demonstrate that the optimization effect of compressed excitation weight methods is inversely correlated with bit rate, but also reveal that, compared to the periodic activation function Snake, the Relu activation function can significantly speed up processing while maintaining comparable speech perceptual quality.
- speech codec /
- mel-spectrogram /
- squeeze-and-excitation networks /
- residual vector quantization /
- generative adversarial network

HTML全文

随着人类日益增长的能源需求和不可再生资源的枯竭，核聚变能源由于其清洁性和安全性作为解决长期能源需求的解决方案，越来越受到人类社会的关注，目前正在建设中的国际热核实验反应堆（international thermonuclear experimental reactor，ITER）是实现核聚变能和平应用的重要里程碑. 磁约束核聚变是产生热核聚变能的最重要方法之一^[1-2]. 在反应堆中实现和维持等离子体聚变过程具有巨大的科学和技术挑战，其中针对等离子体稳定性的研究有助于理解、预测、控制和减轻等离子体破坏的威胁，是优化燃烧等离子体运行模式，改善等离子体约束和输运的重要保障，是设计和制造先进的核聚变装置的重要依据.

数值模拟是等离子体稳定性研究中的关键方法之一，相比理论研究，它能够分析复杂的物理过程，而相比实验研究，它更加经济和灵活. 在等离子体物理数值模拟研究中，回旋动理学理论经常被用来研究在拉莫尔半径空间尺度下的动理学不稳定性和湍流传输^[3-5]. 在回旋动理学理论中，通过回旋平均方法将描述分布函数的方程维度从6维降低到5维，使得其特别适用于研究更长时间尺度下的等离子体不稳定性和湍流传输物理过程.

粒子网格法（particle in cell，PIC）由于其良好的可扩展性、物理守恒性、波粒相互作用描述准确性等优势，在众多回旋动理学模拟算法中具有广泛适用度和应用前景^[6-8]. 基于PIC算法的突出特点，科研学者在解决特定时空尺度物理问题的同时，逐步向多时空尺度耦合的非线性复杂物理模拟演进. 其对磁约束核聚变高性能数值模拟中涉及的程序架构、计算性能、算法优化、并行效率都提出了前所未有的挑战. 许多科研学者尝试借助异构平台的计算性能满足回旋动理学PIC代码日益增长的算力需求，在移植优化和数值算法上作出了诸多努力.

GTC代码是早期受益于异构并行计算的代码之一，基于CUDA在天河一号上展示2~3倍的加速^[9]. 基于OPENACC在Titan上展示了2~3倍的加速，在Summit上展示了3~4倍的加速^[10]. 基于Intel Xeon Phi加速器，在天河二号上展示了2~5倍的加速^[11]. ORB5代码基于OPENACC，在Tesla P100 GPU和Tesla V100 GPU的Summit中分别获得了4倍和5倍的加速^[12].

在上述研究中，通常着重考虑了等离子体中电子对模型的贡献，针对电子的模拟，凭借访存规则等优势可以获得较高的计算性能加速. 而聚变产物Alpha粒子与动理学离子类似，回旋半径较大，必须在回旋运动轨迹上进行回旋平均，从而带来大量非规则的网格数据访存，对访存性能提出了很高的要求. 文献显示在只有动理学离子和绝热电子的情况下，异构移植给整体性能带来了负面的优化^[13]. 考虑到聚变产物Alpha粒子的约束和输运是磁约束聚变能否成功的关键. 本文重点聚焦于以Alpha粒子为代表的回旋动理学代码的异构移植和性能优化.

1. 实验平台：天河新一代超算系统

本文的移植优化及分析测试在天河新一代超级计算机上进行. 天河新一代超级计算机使用异构处理器MT-3000^[14]，它包含16个CPU，4个加速集群（簇），96个控制核心和1 536个加速核心，理论计算密度高达145FLOPB. 每个加速核心以超长指令字（very long instruction word, VLIW）方式工作，每16个加速器核心和1个控制核心被组织成1个加速阵列，以SIMD指令控制. MT-3000具有混合的存储器层次结构，包括每个集群的GSM（6MB），HBSM（48MB），DDR（32GB）存储器，每个加速阵列的AM（768KB）和SM（64KB）片上存储器为加速核供给数据. 其架构如图1所示.

图 1 MT-3000架构图

Figure 1. The architecture diagram of MT-3000

下载: 全尺寸图片幻灯片

在异构处理器MT-3000上移植程序时有2个挑战：一方面，如何高效使用复杂的内存结构高效的将数据传递到加速阵列；另一方面，如何充分发挥高计算密度特性. 这2方面的挑战需要在程序移植优化时打破传统基于CPU的程序设计结构更多地强调计算性能的作用，从而实现整体性能的提高.

2. VirtEx代码热点分析及异构开发

VirtEx是基于PIC算法开发的回旋动理学模拟代码，已成功用于分析线性电阻撕裂不稳定性^[15]. 代码按照PIC方法，将带电粒子以拉格朗日法描述，对应在连续相空间的分布函数采样点；而场信息以欧拉法描述，采用结构化网格描述平衡场，采用非结构化网格描述扰动场^[16]. VirtEx代码的并行化策略是通过在环形方向上将模拟区域划分为不同的子域实现空间并行化，每个子域由1组进程管理. 该组中的每个进程拥有子区域内的场信息副本，并在该子域内将粒子按照进程编号进行并行划分.

VirtEx代码的主要结构如图2所示，其主循环使用2阶龙格-库塔算法，在每个循环中，通过函数Push更新粒子在相空间的位置，其可以更加细致的分为粒子对场信息的回旋平均函数PG（push gather）和粒子位置更新函数PI（push interpolation）；通过函数Locate计算粒子位置和扰动场网格之间插值的权重系数；通过函数Charge计算在非结构化扰动网格上的分布函数矩. 而其他热点部分主要是对非结构化网格上的扰动场更新和粒子MPI通信等操作. 其中3个函数Push，Locate，Charge为代码的热点，共占主循环时间的85%以上.

图 2 VirtEx代码的主要结构及热点分布

Figure 2. Main structure of the VirtEx code and hotspot distribution

下载: 全尺寸图片幻灯片

3个热点函数中涉及的算法如下所示：

算法1. 函数PushGather回旋平均算法.

输入：环向格点权重wzpart, 径向格点权重wppart, 极向格点权重wtpart, 格点编号jtpart, 扰动电场gradphi;

输出：回旋平均扰动场wpgc.

for (mp=0; mp<mpmax; mp++)/*粒子循环*/

for(igyro=0;igyro<ngyro;igyro++) /*回旋平均循环*/

读取粒子所在的格点权重及索引；

以索引读取gradphi；

计算临时变量e；

end for

累加计算wpgc，供函数PI使用*/

end for

算法2. 函数PushInterpolation粒子位置更新算法.

输入：相空间坐标zpart, 历史相空间坐标zpart0，回旋平均扰动场wpgc；

输出：相空间坐标zpart.

for (mp=0; mp<mpmax; mp++)/*粒子循环*/

读取粒子信息 zpart ,wpgc；

插值获取网格信息、电场、磁场等；

计算场对粒子的作用；

推动粒子更新速度位置信息；

end for

算法3. 函数Locate粒子到场的插值权重系数算法.

输入：相空间坐标zpart；

输出：环向格点权重wzpart, 径向格点权重wppart, 极向格点权重wtpart, 格点编号jtpart.

for (mp=0; mp<mpmax; mp++)/*粒子循环*/

for(igyro=0; igyro<ngyro; igyro++)/*回旋平均循环*/

读取粒子信息zpart；

读取网格信息；

计算粒子插值权重；

end for

算法4. 函数Charge非结构化扰动网格上的分布函数矩算法.

输入：环向格点权重wzpart, 径向格点权重wppart, 极向格点权重wtpart, 格点编号jtpart；

输出：电流密度density.

for (mp=0; mp<mpmax; mp++)/*粒子循环*/

插值获取网格信息、电场、磁场；

for(igyro=0; igyro<ngyro; igyro++)/*回旋平均循环*/

读取粒子插值权重；

计算粒子对于周围格点的扰动量；

粒子信息向网格上规约到density；

end for

上述3个热点函数中的4个算法外层循环体均围绕粒子展开，且粒子间具有良好的独立性，面向异构处理器MT-3000异构移植工作主要围绕粒子循环的向量指令集改写展开.

同时，为了更好适配向量指令集的访存特性，在数据结构上做了改写，将粒子数据使用SOA（struct of array）数据结构标识，网格数据使用AOS（array of struct）数据结构. 粒子数据具有数量多，独立性好的特性，配合SOA数据结构更适用于发挥向量指令运算的优势；而网格数据数量远远小于粒子数，访存量巨大，AOS的数据结构能够充分发挥内存局部性. 针对数据结构的改写工作为后续程序的性能优化提供了重要的保障.

3. 面向高计算密度异构设备的性能优化策略

基于上述对于程序热点函数的分析，回旋动理学PIC数值模拟算法涉及粒子与网格数据间的大量访存，尤其在面向扰动场网格数据的访存操作中存在非规则访问和原子写操作，二者对于访存性能提出了艰难的挑战，几个热点函数的访存与计算量统计如表1所示.

表 1 VirtEx热点函数的初始计算密度统计

Table 1. Initial calculated density statistics of VirtEx hot spot function

函数	浮点计算量/FLO	访存量/B	计算密度/FLOPB
PG	269mp	232mp	1.15
PI	462mp	224mp	1.98
Locate	238mp	200mp	1.17
Charge	158mp	200mp	0.75
注：变量mp表示粒子数量，变量前系数为热点函数中每个粒子计算访存量的统计值.

下载: 导出CSV

| 显示表格

因此，如何将计算密度在1~2 FLOPB的访存密集型模块，通过性能优化策略发挥高计算密度型异构设备的计算性能，是关键性的研究内容，也是本文的研究重点. 在本章中通过中间变量的即时计算，基于SM片上存储的软件缓存设计，热点函数合并3种优化方法展开介绍.

3.1 中间变量的即时计算

在传统基于CPU的程序设计中，开发者更倾向于主动寻找公用数据预先计算并暂存于内存中，利用多级高速缓存，通过索引获取数据，通过增加访存量换取计算量的减少. 然而，这种优化方法并不适合于基于宽向量计算的高计算密度型异构设备，大量引入访存会限制计算能力的发挥，同时使用索引的非规则访存模式也不适用于向量计算. 因此，考虑到新架构的特点，本文采用了与传统方法截然相反的优化方法来提高计算性能.

在VirtEx中，磁场、温度、密度、安全因子等中间变量可以将预计算转换为即时计算，引入热点函数中，按照每个粒子对中间变量的需求完成计算. 该操作可以有效减少热点函数中的规则访存和非规则访存，降低流水线中断次数，避免由于按索引访问所带来的向量重组操作.

通过热点函数分析，可以进行优化的中间变量重要分为2类. 一类以每个径向网格上的极向网格点数mtheta为例，该函数可以在热点函数中完成即时计算：

${mtheta}_{i}=2Floor\left(\frac{\mathrm{\pi }{r}_{i}}{\mathrm{\Delta }l}+ 0.5\right).$

(1)

另一类中间变量却难以直接解析化表达，例如粒子在非结构化扰动场网格中的位置索引信息igrid，其形式为

${igrid}_{i}=1+\sum_{j=0}^{i-1}{mtheta}_{i},$

(2)

${mtheta}_{i}=\frac{2\text{π}r}{\mathrm{\Delta }l}+{\delta }_{i}=ai+b+{\delta }_{i}.$

(3)

如式（2）所示，变量igrid的计算基于变量mtheta的累加式，而由于函数Floor引入的不连续性，导致变量igrid的数学公式不能通过简单的变换和积分得出.

由于极向格点数远大于1，且径向格点在 $r$ 坐标描述下是均匀的，当残差 ${\delta }_{i}\ll 1$ ，igrid同样可以表示为

${igrid}_{i}=a{i}^{2}+bi+c+{r}_{i},$

(4)

其中残差 $r$ 远小于二次函数部分. 为了能够构建igrid的解析表达式，采用多项式来拟合二次函数的部分，而残差可以通过周期函数 $f$ 来降低到0.5以下，如图3所示. 从而igrid的解析表达式可以表示为如下的形式：

图 3 位置索引变量igrid真实值与数值拟合的对比

Figure 3. Comparison of the real value and numerical fitting of the location index variable igrid

下载: 全尺寸图片幻灯片

${igrid}_{i}=Round\left[a{i}^{2}+bi+c+f\left(i\right)\right].$

(5)

得益于对平衡剖面信息的解析化表达和即时计算，函数PushInterpolation和函数Locate中的随机内存访问过程得到减少. 只有热点函数PushGather中存在针对扰动场回旋平均的随机内存访问，在下面的章节中会论述相应的优化方法.

3.2 基于SM片上存储的软件缓存设计

在基于CPU的通用架构中，内置的缓存机制允许开发者在编程时无需关注高速缓存，更多的是将其视为自动化的访存系统. 而在MT-3000处理器中，考虑到性能，内存和SM/AM之间，以及SM/AM和向量寄存器之间的数据交换需要由程序员手动控制. 在处理内存的随机访问时，依赖DMA接口操作需要依赖索引和数据，造成了内存带宽的浪费. 为了解决这个问题，本文针对加速阵列内部片上存储SM设计软缓存机制，充分发挥内存结构和内存局部性的优势.

在VirtEx热点函数中有2个非规则访问，其中一个是在函数Push中涉及到对扰动场网格数据的非规则访问，另一个是在函数Charge中涉及到对扰动场网格数据更新的原子写操作.

函数Charge通过累加操作(+=)将粒子信息到网格上，由于粒子分散在子域内的多个进程，且网格数远小于粒子数，这将涉及到原子操作. 读/写锁是MT-3000处理器中解决数据竞争的重要方法，因此基于读/写锁设计了1种多级同步的软件缓存机制，首先在SM中进行细粒度(如单字)更新，不涉及任何同步操作；其次，使用读写锁保证缓存块在被换出时不会受到数据竞争. 同时完成缓存块从SM到主存储器的累加操作.

函数PushGaher主要通过4点回旋平均算法获取粒子在回旋运动轨迹上的扰动场信息. 由于片上缓存空间有限，回旋平均算法的随机访问性质会对主存带来巨大的访存开销. 因此基于片上SM存储设计了1种软件缓存机制，该机制通过粒子索引将网格数据按照缓存块读入，如果向量宽度内所有粒子的索引均在缓存块内命中，组装网格数据向量传到向量寄存器完成向量计算；如果索引未在缓存块命中，按照所需索引完成缓存块数据的更新. 同时考虑到性能和局部性的平衡，设计64个缓存块并使用哈希作为缓存块的标识.

在软件缓存机制的实施后，非规则访存被有效转化，访存带宽的压力得到了缓解. 为缓存命中问题. 进一步地，考虑到回旋平均算法需获取轨迹上每1点的扰动场信息，由于粒子在速度空间分布的随机性，在更新粒子位置后，极坐标方向的粒子分布会被分散，从而扰乱粒子在非结构化扰动场网格上的分布. 程序现有的基于粒子所在径向网格点的排序算法，由于加速阵列中的片上存储空间有限，该算法不足以支撑高计算密度的异构设备，导致缓存命中率的降低.

图4显示了排序算法优化前后，粒子序号与相应的非结构化网格序号之间的关系，其中psi排序是原始的径向排序算法，igrid排序是改进的排序算法，按照粒子所在的网格点排序，增强了空间局部性. 优化后的排序采用桶式排序算法，每个桶对应于粒子所属的网格点，由于粒子运动的对称性，每个桶的容量总是与每个网格的粒子数同序，因此该算法的复杂性与原来的psi排序同样是O(N).

图 4 不同排序算法下的粒子格点编号对比

Figure 4. Comparison of particle lattice numbers under different sorting algorithms

下载: 全尺寸图片幻灯片

不同排序算法下针对扰动场变量gradphi的缓存命中率，如表2所示，在64个缓存块和1 024 B缓存块大小的情况下，扰动场变量gradphi在没有粒子排序的情况下命中率为77.99%，接近于psi排序下的84.47%，而采用igrid排序可以获得99.15%的缓存命中率，得益于超高的缓存命中率，针对变量gradphi的非规则访问可以被近似视作规则访问.

表 2 不同排序算法下针对扰动场变量gradphi的缓存命中率

Table 2. Cache Hit Rate for Disturbance Field Variable gradphi Under Different Sorting Algorithms

排序算法	缓存命中率/%
不排序	77.99
psi排序	84.47
igrid排序	99.15

下载: 导出CSV

| 显示表格

3.3 热点函数合并

通过热点函数面向异构加速器MT-3000的移植以及上述几种优化方式的应用. 非规则访存操作已经被近似消除，减轻了访存带宽的压力. 在经过优化后，热点函数PG，PI，Locate的浮点计算量、访存量以及计算密度的统计数据如表3所示，其中mp表示粒子数量，考虑到每个粒子相同的操作，其在统计中作为系数表示. 从数据上可以看出，由于函数PG中的回旋平均操作主要涉及内存访问，其计算密度仅为1.39；而时间占比最高的函数PI，考虑到基于粒子的计算特点，计算密度仅为12.4；而函数Locate在经过变量即时计算优化后，计算密度达到56.3. 综上所述，时间占比高达40%的函数Push的计算密度需要进一步提高计算访存比.

表 3 热点函数合并优化后计算密度统计

Table 3. Hot Spot Function is Merged and Optimized to Calculate the Density Statistics

函数	浮点计算量/FLO	访存量/B	计算密度/FLOPB
PG	277mp	198.64mp	1.39
PI	1 888mp	152mp	12.4
Locate	12 161mp	216mp	56.3
PushOpt	14 326mp	134.64mp	106.4
注：变量mp表示粒子数量，变量前系数为热点函数中每个粒子计算访存量的统计值.

下载: 导出CSV

| 显示表格

函数PG，PI，Locate在PIC算法中是计算粒子运动的3个相关函数，函数Locate负责计算插值系数，函数PG负责获取网格数据，函数PI负责推动粒子，三者在算法上具备可合并性. 将函数Locate引入到函数Push中，并将函数PG和PI合并，合并后输入仅为粒子信息和网格信息，输出为粒子信息，减少了对于大量中间变量的读写. 优化函数PushOpt的计算密度达到106.4 FLOPB，进一步缩小了与理论值的差距.

4. 优化性能测试及分析

4.1 中等规模基准算例性能测试

在该这个基准算例测试中，我们用1个MPI进程控制1个MT-3000加速集群（簇），在天河新一代超算系统上使用120个节点上的480个MPI进程和480个簇. 该基准测试使用了1.23 × 10⁶个网格，模拟了2.5 × 10⁹个粒子.

表4显示了CPU版本和优化版本之间在主循环和热点函数上的性能对比，CPU版本的3个主要的热点函数的占比达到86.06%. 结果显示，基于MT-3000处理器的应用加速效果良好，总体速度提高了4.2倍，其中函数Push和函数Locate分别实现了10.9倍和13.3倍的加速，在具有原子操作的函数Charge实现了16.2倍的性能提升.

表 4 基准算例的性能表现

Table 4. The Performance of Benchmark Examples

热点函数	CPU版本		优化后版本		加速比
热点函数	计算时间/s	占比/%	计算时间/s	占比/%	加速比
主循环	845.63	100	201.46	100	4.2
Push	323.86	38.30	29.64	14.71	10.9
Locate	128.69	15.22	9.67	4.80	13.3
Charge	275.19	32.54	16.98	8.43	16.2

下载: 导出CSV

| 显示表格

4.2 扩展性测试

本节展示了优化后的VirtEx程序的弱扩展性测试结果. 在弱扩展性测试中，基准测试为120个节点，使用了3.86 × 10⁵个网格，模拟了3.7 × 10⁹个粒子. 随着节点数增加至3 840个，模拟的粒子数也相应的增加到了1.18 × 10¹¹. 经过多轮测试取平均后的并行效率，如图5所示，在天河新一代超算系统的3 840个节点5 898 240个加速器核心上，其并行效率为88.4%，展示了良好的弱扩展性.

图 5 120个节点到3 840个节点的弱扩展性测试结果

Figure 5. Weak scalability test results from 120 to 3 840 nodes

下载: 全尺寸图片幻灯片

5. 结　　论

基于天河新一代超算系统的异构加速器MT-3000对大规模并行磁约束聚变回旋动理学模拟代码VirtEx进行代码移植和性能优化，围绕高计算密度型系统和访存密集型应用间存在的矛盾. 通过中间变量的即时计算、定制化的软件缓存设计、空间局部性优化、热点函数合并等优化策略，并通过数据分析验证了优化的合理性. 同时在基准测试中，VirtEx的优化显示了良好的加速效果，其中函数Push提速10.9倍，函数Locate提速13.3倍，函数Charge提速16.2倍，从而使整个程序提速4.2倍. 并且在3 840个节点的5 898 240个加速器核心上展示了良好的可扩展性，并行效率为88.4%.

作者贡献声明：李青峰负责程序设计、移植、测试，并撰写论文；李跃岩负责设计并实现优化算法；栾钟治负责程序瓶颈分析和解决方案提供；张文禄提供了针对程序原理和算法方面的指导；龚春叶提供了针对异构加速设备的优化指导；郑刚提供了系统测试环境及保障工作；康波提供了共性技术的指导；孟祥飞负责设计研究方案并把控研究进度.

图 1 残差矢量量化结构

Figure 1. The structure of residual vector quantization

下载: 全尺寸图片幻灯片

图 2 基于梅尔谱与压缩激励加权量化的语音神经编解码方法结构图

Figure 2. Structure diagram of neural speech codec method based on Mel spectrogram and squeeze-excitation-weighted quantization

下载: 全尺寸图片幻灯片

图 3 梅尔谱图对比

Figure 3. Comparison of Mel spectrogram

下载: 全尺寸图片幻灯片

图 4 关于压缩激励加权机制的消融实验（输入特征为梅尔谱图）

Figure 4. Ablation experiments on squeeze-excitation-weighted mechanism (Input Characteristic is Mel spectrogram )

下载: 全尺寸图片幻灯片

图 5 关于压缩激励加权机制的消融实验（输入特征为波形）

Figure 5. Ablation experiments on squeeze-excitation-weighted mechanism (Input Characteristic is waveform)

下载: 全尺寸图片幻灯片

表 1 卷积单元网络结构

Table 1 Network Architecture of Convolutional Unit

卷积单元	卷积核/步长/空洞数
Conv 1	4/2/1
Conv 2	11/1/1
Conv 3	11/1/1
Conv 4	11/1/3
Conv 5	11/1/1
Conv 6	11/1/5
Conv 7	11/1/1
Group Norm
Conv 8	7/1/1
Conv 9	7/1/1
Conv 10	7/1/3
Conv 11	7/1/1
Conv 12	7/1/5
Conv 13	7/1/1
Group Norm
Conv 14	3/1/1
Conv 15	3/1/1
Conv 16	3/1/3
Conv 17	3/1/1
Conv 18	3/1/5
Conv 19	3/1/1
Group Norm

下载: 导出CSV

表 2 各神经编解码器在VCTK数据集上的评价指标

Table 2 Metrics Evaluated on the VCTK Dataset for Each Neural Codec

比特率/ Kbps	码本数	模型	${\mathrm{R}\mathrm{T}\mathrm{F}}_{\mathrm{e}\mathrm{n}\mathrm{c}}$ ↑	STOI ↑	WARP-Q ↓	VISQOL ↑	MOS ↑
0.75	1	SoundStream	18.817	0.703	2.988	2.134	1.80
		Encodec	19.188	0.736	2.917	2.226	2.28
		Hificodec	5.506	0.634	3.024	2.028	1.88
		本文模型	36.656	0.747	2.604	2.536	2.40
1.5	2	SoundStream	15.438	0.736	2.860	2.315	2.52
		Encodec	18.923	0.777	2.694	2.492	3.20
		Hificodec	6.507	0.751	2.709	2.520	2.84
		本文模型	36.447	0.801	2.371	2.958	3.62
3	4	SoundStream	15.760	0.757	2.798	2.407	2.36
		Encodec	18.550	0.79	2.625	2.584	3.16
		Hificodec	6.549	0.839	2.125	3.311	3.52
		本文模型	35.632	0.846	1.997	3.334	3.88
4.5	6	SoundStream	20.036	0.790	2.711	2.651	3.16
		Encodec	22.119	0.809	2.535	2.758	3.40
		Hificodec	6.562	0.862	1.912	3.562	3.62
		本文模型	22.338	0.859	1.798	3.492	3.94
6	8	SoundStream	20.145	0.799	2.502	2.694	3.50
		Encodec	21.423	0.818	1.852	2.799	3.44
		Hificodec	5.673	0.878	1.852	3.665	3.92
		本文模型	23.493	0.865	1.776	3.552	3.98

下载: 导出CSV

表 3 本文方法与通用编解码器Opus的评测对比

Table 3 Evaluation Comparison of the Proposed Method and the General Codec Opus

模型	STOI ↑	WARP-Q ↓	VISQOL ↑	MOS ↑
Opus-10ms	0.703	2.610	2.476	3.32
Opus-5.0ms	0.858	2.383	3.037	3.58
Opus-2.5ms	0.956	1.976	3.475	3.86
本文模型	0.865	1.776	3.552	3.98

下载: 导出CSV

表 4 不同压缩率的实验配置

Table 4 Experimental Configuration of Different Compression Rates

压缩率	编码器下采样倍数	解码器上采样倍数	解码器各层卷积核
180	[2]	[5, 4, 4, 2]	[10, 8, 8, 4]
320	[2]	[8, 5, 3, 2]	[16, 11, 7, 4]
640	[2]	[10, 8, 4, 2]	[20, 16, 8, 4]

下载: 导出CSV

表 5 对于不同压缩率和码本数量的消融实验

Table 5 Ablation Experiments on Different Compression Ratios and Codebook Count

比特率/Kbps	压缩率	码本数	STOI ↑	WARP-Q ↓	VISQOL↑
3	180	2	0.843	2.028	3.314
	320	4	0.846	1.997	3.334
	640	8	0.854	1.852	3.427
6	180	4	0.898	1.608	3.786
	320	8	0.865	1.776	3.552
	640	16	0.835	1.848	3.387

下载: 导出CSV

表 6 压缩激励加权机制的消融实验（输入特征为梅尔谱图）

Table 6 Ablation Experiments on Squeeze-Excitation-Weighted Mechanism (Input Characteristic is Mel Spectrogram)

比特率/Kbps	码本数	指标	Mel-Input+SE-weight（本文）	Mel-Input
1.5	2	${\mathrm{R}\mathrm{T}\mathrm{F}}_{\mathrm{e}\mathrm{n}\mathrm{c}}$ ↑	36.447	42.515
		STOI ↑	0.801	0.795
		WARP-Q ↓	2.371	2.318
		VISQOL ↑	2.958	2.926
3.0	4	${\mathrm{R}\mathrm{T}\mathrm{F}}_{\mathrm{e}\mathrm{n}\mathrm{c}}$ ↑	35.632	44.498
		STOI ↑	0.846	0.837
		WARP-Q ↓	1.997	2.035
		VISQOL ↑	3.334	3.310
6.0	8	${\mathrm{R}\mathrm{T}\mathrm{F}}_{\mathrm{e}\mathrm{n}\mathrm{c}}$ ↑	23.493	32.345
		STOI ↑	0.865	0.866
		WARP-Q ↓	1.776	1.733
		VISQOL ↑	3.552	3.499

下载: 导出CSV

表 7 关于压缩激励加权机制的消融实验（输入特征为波形）

Table 7 Ablation Experiments on Squeeze-Excitation-Weighted Mechanism (Input Characteristic is Waveform)

比特率/Kbps	码本数	指标	Wave-Input+SE-weight	Wave-Input
1.5	2	${\mathrm{R}\mathrm{T}\mathrm{F}}_{\mathrm{e}\mathrm{n}\mathrm{c}}$ ↑	5.527	6.507
		STOI ↑	0.753	0.751
		WARP-Q ↓	2.526	2.709
		VISQOL ↑	2.630	2.520
3.0	4	${\mathrm{R}\mathrm{T}\mathrm{F}}_{\mathrm{e}\mathrm{n}\mathrm{c}}$ ↑	5.702	6.549
		STOI ↑	0.837	0.839
		WARP-Q ↓	2.147	2.125
		VISQOL ↑	3.329	3.311
6.0	8	${\mathrm{R}\mathrm{T}\mathrm{F}}_{\mathrm{e}\mathrm{n}\mathrm{c}}$ ↑	5.369	5.673
		STOI ↑	0.871	0.878
		WARP-Q ↓	2.020	1.852
		VISQOL ↑	3.477	3.665

下载: 导出CSV

表 8 关于激活函数的消融实验

Table 8 Ablation Experiments on Activation Function

比特率/Kbps	码本数	指标	Relu（本文）	Snake
0.75	1	${\mathrm{R}\mathrm{T}\mathrm{F}}_{\mathrm{e}\mathrm{n}\mathrm{c}}$ ↑	36.656	11.590
		STOI ↑	0.747	0.746
		WARP-Q ↓	2.604	2.568
		VISQOL ↑	2.536	2.538
1.50	2	${\mathrm{R}\mathrm{T}\mathrm{F}}_{\mathrm{e}\mathrm{n}\mathrm{c}}$ ↑	36.447	11.784
		STOI ↑	0.801	0.810
		WARP-Q ↓	2.371	2.224
		VISQOL ↑	2.958	3.073
3.00	4	${\mathrm{R}\mathrm{T}\mathrm{F}}_{\mathrm{e}\mathrm{n}\mathrm{c}}$ ↑	35.632	10.821
		STOI ↑	0.846	0.851
		WARP-Q ↓	1.997	1.989
		VISQOL ↑	3.334	3.234
4.50	6	${\mathrm{R}\mathrm{T}\mathrm{F}}_{\mathrm{e}\mathrm{n}\mathrm{c}}$ ↑	22.338	5.915
		STOI ↑	0.859	0.892
		WARP-Q ↓	1.798	1.563
		VISQOL ↑	3.492	3.638
6.00	8	${\mathrm{R}\mathrm{T}\mathrm{F}}_{\mathrm{e}\mathrm{n}\mathrm{c}}$ ↑	23.493	4.967
		STOI ↑	0.865	0.900
		WARP-Q ↓	1.776	1.448
		VISQOL ↑	3.552	3.658

下载: 导出CSV

参考文献(47)

[1]	De Andrade J F, De Campos M L R, Apolinario J A. Speech privacy for modern mobile communication systems[C]//Proc of the 33rd IEEE Int Conf on Acoustics, Speech and Signal Processing (ICASSP). Piscataway, NJ: IEEE, 2008: 1777−1780
[2]	Haneche H, Ouahabi A, Boudraa B. Compressed sensing-speech coding scheme for mobile communications[J]. Circuits, Systems, and Signal Processing, 2021, 40(10): 5106−5126 doi: 10.1007/s00034-021-01712-x
[3]	Budagavi M, Gibson J D. Speech coding in mobile radio communications[J]. Proceedings of the IEEE, 1998, 86(7): 1402−1412 doi: 10.1109/5.681370
[4]	Bessette B, Salami R, Lefebvre R, et al. The adaptive multirate wideband speech codec (AMR-WB)[J]. IEEE Transactions on Speech and Audio Processing, 2002, 10(8): 620−636 doi: 10.1109/TSA.2002.804299
[5]	Cox R V, Kroon P. Low bit-rate speech coders for multimedia communication[J]. IEEE Communications Magazine, 1996, 34(12): 34−41 doi: 10.1109/35.556484
[6]	Huang Yongfeng, Liu Chenghao, Tang Shanyu, et al. Steganography integration into a low-bit rate speech codec[J]. IEEE Transactions on Information Forensics and Security, 2012, 7(6): 1865−1875 doi: 10.1109/TIFS.2012.2218599
[7]	Valin J M, Terriberry T B, Montgomery C, et al. A high-quality speech and audio codec with less than 10-ms delay[J]. IEEE Transactions on Audio, Speech, and Language Processing, 2009, 18(1): 58−67
[8]	Hicsonmez S, Sencar H T, Avcibas I. Audio codec identification from coded and transcoded audios[J]. Digital Signal Processing, 2013, 23(5): 1720−1730 doi: 10.1016/j.dsp.2013.04.005
[9]	Dietz M, Multrus M, Eksler V, et al. Overview of the EVS codec architecture[C]//Proc of the 40th IEEE Int Conf on Acoustics, Speech and Signal Processing (ICASSP). Piscataway, NJ: IEEE, 2015: 5698−5702.
[10]	Valin J M, Vos K, Terriberry T. Definition of the opus audio codec[EB/OL]. 2012−09[2024-12-26]. https://datatracker.ietf.org/doc/html/rfc6716
[11]	Zeghidour N,Luebs A,Omran A,et al. SoundStream:An end-to-end neural audio codec[J]. IEEE Transactions on Audio,Speech,and Language Processing,2021,30:495-507(只有卷
[12]	Biswas A, Jia D. Audio codec enhancement with generative adversarial networks[C]//Proc of the 45th IEEE Int Conf on Acoustics, Speech and Signal Processing (ICASSP). Piscataway, NJ: IEEE, 2020: 356−360
[13]	Stimberg F, Narest A, Bazzica A, et al. WaveNetEQ—Packet loss concealment with waveRNN[C]//Proc of the 54th Asilomar Conference on Signals, Systems, and Computers. Piscataway, NJ: IEEE, 2020: 672−676
[14]	Xiao Wei, Liu Wenzhe, Wang Meng, et al. Multi-mode neural speech coding based on deep generative networks[C]//Proc of the 24th Annual Conf of the Int Speech Communication Association. Grenoble, France: ISCA, 2023: 819−823
[15]	Wu Yi-Chiao, Gebru I D, Marković D, et al. Audiodec: An open-source streaming high-fidelity neural audio codec[C]//Proc of the 48th IEEE Int Conf on Acoustics, Speech and Signal Processing (ICASSP). Piscataway, NJ: IEEE, 2023: 1−5
[16]	Jiang Xue, Peng Xiulian, Zhang Yuan, et al. Disentangled feature learning for real-time neural speech coding[C/OL]//Proc of the 48th IEEE Int Conf on Acoustics, Speech and Signal Processing (ICASSP). Piscataway, NJ: IEEE, 2023[2025-02-05]. https://ieeexplore.ieee.org/document/10094723
[17]	Petermann D, Jang I, Kim M. Native multi-band audio coding within hyper-autoencoded reconstruction propagation networks[C/OL]//Proc of the 48th IEEE Int Conf on Acoustics, Speech and Signal Processing (ICASSP). Piscataway, NJ: IEEE, 2023[2025-02-05]. https://ieeexplore.ieee.org/document/10094593
[18]	Lim H, Lee J, Kim B H, et al. End-to-end neural audio coding in the MDCT domain[C/OL]//Proc of the 48th IEEE Int Conf on Acoustics, Speech and Signal Processing (ICASSP). Piscataway, NJ: IEEE, 2023[2025-02-05]. https://ieeexplore.ieee.org/document/10096243
[19]	Kleijn W B, Lim F S C, Luebs A, et al. Wavenet based low rate speech coding[C]//Proc of the 43rd IEEE Int Conf on Acoustics, Speech and Signal Processing (ICASSP). Piscataway, NJ: IEEE, 2018: 676−680
[20]	Jang Inseon, Yang Haici, Lim W, et al. Personalized neural speech codec[C]//Proc of the 49th IEEE Int Conf on Acoustics, Speech and Signal Processing (ICASSP). Piscataway, NJ: IEEE, 2024: 991−995
[21]	Du Zhihao, Zhang Shiliang, Hu Kai, et al. Funcodec: A fundamental, reproducible and integrable open-source toolkit for neural speech codec[C]//Proc of the 49th IEEE Int Conf on Acoustics, Speech and Signal Processing (ICASSP). Piscataway, NJ: IEEE, 2024: 591−595
[22]	ârbacea C, Oord A, Li Yazhe, et al. Low bit-rate speech coding with VQ-VAE and a WaveNet decoder[C]//Proc of the 44th IEEE Int Conf on Acoustics, Speech and Signal Processing (ICASSP). Piscataway, NJ: IEEE, 2019: 735−739
[23]	Kleijn W B, Storus A, Chinen M, et al. Generative speech coding with predictive variance regularization[C]//Proc of the 45th IEEE Int Conf on Acoustics, Speech and Signal Processing (ICASSP). Piscataway, NJ: IEEE, 2021: 6478−6482
[24]	Oord A, Dieleman S, Zen Heiga, et al. Wavenet: A generative model for raw audio[J]. arXiv preprint, arXiv: 1609.03499, 2016
[25]	Kankanahalli S. End-to-end optimized speech coding with deep neural networks[C]//Proc of the 43rd IEEE Int Conf on Acoustics, Speech and Signal Processing (ICASSP). Piscataway, NJ: IEEE, 2018: 2521−2525
[26]	Oord A, Vinyals O. Neural discrete representation learning[C/OL]//Proc of the 31st Annual Conf on Neural Information Processing Systems (NIPS). Cambridge, MA: MIT Press, 2017[2025-02-05]. https://dl.acm.org/doi/10.5555/3295222.3295378
[27]	Défossez A, Copet J, Synnaeve G, et al. High fidelity neural audio compression[J]. arXiv preprint, arXiv: 2210.13438, 2022
[28]	Ratnarajah Anton, Zhang Shi-Xiong, Yu Dong. M3-AUDIODEC: Multi-channel multi-speaker multi-spatial audio codec[J]. arXiv preprint, arXiv: 2309.07416, 2023
[29]	Yang Dongchao, Liu Songxiang, Huang Rongjie, et al. Hifi-codec: Group-residual vector quantization for high fidelity audio codec[J]. arXiv preprint, arXiv: 2305.02765, 2023
[30]	O’shaughnessy D. Speech Communications: Human and Machine[M]. Piscataway, NJ: IEEE, 1999
[31]	Davis S, Mermelstein P. Comparison of parametric representations for monosyllabic word recognition in continuously spoken sentences[J]. IEEE Transactions on Acoustics, Speech, and Signal processing, 1980, 28(4): 357−366 doi: 10.1109/TASSP.1980.1163420
[32]	Hasanabadi M R. MFCC-GAN codec: A new AI-based audio coding[J]. arXiv preprint, arXiv: 2310.14300, 2023
[33]	Hu Jie, Shen Li, Sun Gang. Squeeze-and-excitation networks[C]//Proc of the 31st IEEE Conf on Computer Vision and Pattern Recognition (CVPR). Piscataway, NJ: IEEE, 2018: 7132−7141
[34]	Zen Heiga, Dang V, Clark R, et al. Libritts: A corpus derived from librispeech for text-to-speech[J]. arXiv preprint, arXiv: 1904.02882, 2019
[35]	Liu Zhaoyu, Mak B. Cross-lingual multi-speaker text-to-speech synthesis for voice cloning without using parallel corpus for unseen speakers[J]. arXiv preprint, arXiv: 1911.11601, 2019
[36]	Taal C H, Hendriks R C, Heusdens R, et al. A short-time objective intelligibility measure for time-frequency weighted noisy speech[C]//Proc of the 35th IEEE Int Conf on Acoustics, Speech and Signal Processing (ICASSP). Piscataway, NJ: IEEE, 2010: 4214−4217
[37]	Hines A, Skoglund J, Kokaram A, et al. ViSQOL v3: An open source production ready objective speech and audio mestric[J]. arXiv preprint, arXiv: 2004.09584, 2020
[38]	Kumar R, Seetharaman P, Luebs A, et al. High-fidelity audio compression with improved rvqgan[C/OL]//Proc of the 38th Annual Conf on Neural Information Processing Systems (NIPS). Cambridge, MA: MIT Press, 2024[2025-02-05]. https://openreview.net/forum?id=qjnl1QUnFA
[39]	Lee S, Ping W, Ginsburg B, et al. Bigvgan: A universal neural vocoder with large-scale training[J]. arXiv preprint. arXiv: 2206.04658, 2022
[40]	Martin Dietz, Markus Multrus, Vaclav Eksler, et al. Overview of the EVS codec architecture[C]//Proc of the 40th IEEE Int Conf on Acoustics, Speech and Signal Processing (ICASSP). Piscataway, NJ: IEEE, 2015: 5698–5702
[41]	高玮玮, 单明陶, 宋楠, 等. 嵌入SENet的改进YOLOv4眼底图像微动脉瘤自动检测算法[J]. 生物医学工程学杂志,2022,39(4):713−720 Gao Weiwei, Shan Mingtao, Song Nan, et al. Detection of microaneurysms in fundus images based on improved YOLOv4 with SENet embedded[J]. Journal of Biomedical Engineering, 2022, 39(4): 713−720
[42]	Chen Qiang, Liu Li, Han Rui, et al. Image identification method on high speed railway contact network based on YOLO v3 and SENet[C]//Proc of the 38th Chinese Control Conf (CCC). Piscataway, NJ: IEEE, 2019: 8772−8777
[43]	王成龙,易江燕,陶建华,等. 基于全局-时频注意力网络的语音伪造检测[J]. 计算机研究与发展,2021,58(7):1466−1475 doi: 10.7544/issn1000-1239.2021.20200799 Wang Chenglong, Yi Jiangyan, Tao Jianhua, et al. Global and temporal-frequency attention based network in audio deepfake detection[J]. Journal of Computer Research and Development, 2021, 58(7): 1466−1475 (in Chinese) doi: 10.7544/issn1000-1239.2021.20200799
[44]	He Kaiming, Zhang Xiangyu, Ren Shaoqing, et al. Deep residual learning for image recognition[C]//Proc of the 29th IEEE Conf on Computer Vision and Pattern Recognition (CVPR). Piscataway, NJ: IEEE, 2016: 770−778
[45]	Kong J, Kim J, Bae J. Hifi-gan: Generative adversarial networks for efficient and high fidelity speech synthesis[C]//Proc of the 34th Annual Conf on Neural Information Processing Systems (NIPS). Cambridge, MA: MIT Press, 2020, 17022−17033
[46]	Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C/OL]//Proc of the 28th Annual Conf on Neural Information Processing Systems (NIPS). Cambridge, MA: MIT Press, 2014[2025-02-05]. https://www.researchgate.net/publication/263012109_Generative_Adversarial_Networks
[47]	Jassim W A, Skoglund J, Chinen M, et al. WARP-Q: Quality prediction for generative neural speech codecs[C]//Proc of the 46th IEEE Int Conf on Acoustics, Speech and Signal Processing (ICASSP). Piscataway, NJ: IEEE, 2021: 401−405