Joint Acoustic Modeling of Multi-Features Based on Deep Neural Networks
-
摘要: 针对不同声学特征之间的信息互补性以及声学建模中各任务间的关联性，提出了一种多特征关联的深层神经网络声学建模方法,该方法首先借鉴深层神经网络(deep neural network, DNN)多模态以及多任务学习思想，通过共享DNN部分隐含层为不同特征声学模型间建立关联，从而挖掘不同学习任务间隐含的共同解释性因素，实现知识迁移以及性能的相互促进；其次利用低秩矩阵分解方法减少模型估计参数的数量，加快模型训练速度，并对不同特征的识别结果采用ROVER(recognizer output voting error reduction)融合算法进行融合，进一步提高系统识别性能.基于TIMIT的连续语音识别实验表明，采用关联声学建模方法，不同特征的识别性能均要优于独立建模时的识别性能.在音素错误率(phone error rates, PER)指标上，关联声学建模下的ROVER融合结果要比独立建模下的ROVER融合结果相对降低约4.6%.Abstract: In view of the complementary information and the relevance when training acoustic modes of different acoustic features, a joint acoustic modeling method of multi-features based on deep neural networks is proposed. In this method, similar to DNN multimodal and multitask learning, part of the DNN hidden layers are shared to make the association among the DNN acoustic models built with different features. Through training the acoustic models together, the common hidden explanatory factors are exploited among different learning tasks. Such exploitation allows the possibility of knowledge transferring across different learning tasks. Moreover, the number of the model parameters is decreased by using the low-rank matrix factorization method to reduce the training time. Lastly, the recognition results from different acoustic features are combined by using recognizer output voting error reduction (ROVER) algorithm to further improve the performance. Experimental results of continuous speech recognition on TIMIT database show that the joint acoustic modeling method performs better than modeling independently with different features. In terms of phone error rates (PER), the result combined by ROVER based on the joint acoustic models yields a relative gain of 4.6% over the result based on the independent acoustic models.
-
-
期刊类型引用(20)
1. 肖鸿洲 ，李长云，王志兵 ，甘英华 ，任国鑫 . 一种稀疏体压特征人员识别方法. 现代电子技术. 2025(03): 111-118 . 
百度学术
2. 王莹. 未经授权的人脸识别支付法律责任解释论. 运城学院学报. 2024(02): 70-74+89 . 百度学术
3. 洪延青. 人脸识别技术应用的分层治理理论与制度进路. 法律科学(西北政法大学学报). 2024(01): 89-99 . 百度学术
4. 王勇，熊毅，杨天宇，沈益冉. 一种面向耳戴式设备的用户安全连续认证方法. 计算机研究与发展. 2024(11): 2821-2834 . 本站查看
5. 杨光锴. 基于扩散模型的指纹图像生成方法. 河北省科学院学报. 2023(01): 13-18+66 . 百度学术
6. 徐胜超，熊茂华. 基于子模式的人脸局部遮挡智能识别方法. 信息技术. 2023(03): 35-39 . 百度学术
7. 周宇，向剑文，郑倩荣，赵冬冬. 保护用户数量信息的安全虹膜识别方案. 信息安全学报. 2023(03): 49-64 . 百度学术
8. 张星星，钟陈，王文峰，苏立伟. 生物特征识别标准概述. 信息技术与标准化. 2023(11): 64-68 . 百度学术
9. 张雪锋，常振会，张俊杰，王超飞. 指纹和虹膜特征融合的可撤销模板保护方法. 西安邮电大学学报. 2023(04): 51-60 . 百度学术
10. 钟陈，苏立伟，王文峰. 生物特征识别呈现攻击检测标准化研究. 信息技术与标准化. 2022(Z1): 50-53 . 百度学术
11. 张宗华，王晟贤，高楠，孟召宗. 基于曲面类型与深度学习融合的三维掌纹识别技术. 电子与信息学报. 2022(04): 1469-1475 . 百度学术
12. 胡先智，陈浩，梁艳. 多模态生物特征信息安全防护体系研究. 计算机技术与发展. 2022(04): 86-91 . 百度学术
13. 张波，贺楚博. 基于可撤销人脸的模糊保险箱算法研究与实现. 计算机技术与发展. 2022(06): 126-130 . 百度学术
14. 帕孜来提·努尔买提，古丽娜孜·艾力木江，乎西旦·居马洪，朱双玲. 一种基于深度学习方法的面部微变识别的研究. 伊犁师范大学学报(自然科学版). 2022(02): 41-46+52 . 百度学术
15. 杨丽红，尚泽昊. 基于区块链和模糊提取的多特征融合身份认证模型. 数字技术与应用. 2022(08): 218-220 . 百度学术
16. 董芸嘉，张雪锋，姜文. 基于指纹和手指静脉特征融合的模板保护方法. 传感器与微系统. 2022(11): 9-13 . 百度学术
17. 张波，佟玉强. 基于双随机相位编码的多特征人脸模板保护方法. 激光与光电子学进展. 2022(18): 215-222 . 百度学术
18. 王晟贤，张宗华，高楠，孟召宗. 融合曲面类型与迁移学习的三维掌纹识别方法. 传感器与微系统. 2022(12): 118-121 . 百度学术
19. 丁勇，李佳慧，唐士杰，王会勇. 基于随机映射技术的声纹识别模板保护. 计算机研究与发展. 2020(10): 2201-2208 . 本站查看
20. 张佳，王红. 基于生物特征识别的Android身份认证终端技术研究. 电子测试. 2020(24): 78-79+56 . 百度学术
其他类型引用(28)
计量
- 文章访问数: 1237
- HTML全文浏览量: 2
- PDF下载量: 724
- 被引次数: 48
下载:
