江苏大学学报(自然科学版)

作者：柳永利，张绍阳，王裕恒，解熠

单位：1. 长安大学 信息工程学院， 陕西 西安 710064； 2. 陕西交通控股集团有限公司运营管理分公司， 陕西 西安 710065

关键词：语音识别, 深度学习, 语言模型, 多任务损失, Conformer, Transformer, CTC

基金：陕西省重点产业创新链（群）项目(2021ZDLGY07-06)

针对Attention过于灵活的对齐方式在复杂环境中适应性差、简单端到端模型对语言特征利用不充分的问题，研究了基于多任务损失附加语言模型的语音识别方法.通过分析语音信号特征，训练中选用包含更多信息的特征.以基于Attention的Conformer端到端模型为基础，采用CTC损失辅助纯Conformer (Attention)的多任务损失训练模型，得到ConformerCTC语音识别模型.在ConformerCTC模型基础上，通过分析对比部分语言模型的特点与效果，将Transformer语言模型通过重打分机制附加至上述模型的训练中，最终得到ConformerCTCTransformer语音识别模型.在AISHELL1数据集上对上述模型进行了试验.结果表明：ConformerCTC模型相对于纯Conformer (Attention)模型在测试集上的字错率（character error rate，CER）降低了0.49%，而ConformerCTCTransformer模型相对于ConformerCTC模型在测试集上的CER又降低了0.79%.CTC损失可以改善Attention对齐方式在复杂环境中的适应性，并且对ConformerCTC模型附加Transformer语言模型重打分后能再次提升0.30%的识别准确率.相较于现有的部分端到端模型，ConformerCTCTransformer模型识别效果较好，说明该模型具有一定的有效性.

来源：2023年第5期

《江苏大学学报(自然科学版)》期刊编辑部

查看江苏大学学报(自然科学版)杂志2023年第5期