面向闽南方言的自监督模型迁移学习OA北大核心CSTPCD
[目的]为了降低低资源闽南方言的语音识别词错误率(character error rate,CER),对中文自监督模型在闽南方言语音识别任务上的微调迁移效果进行研究.[方法]使用两种不同的中文SSL模型Wav2vec 2.0和HuBERT,并采用连接时序(connectionist temporal classification,CTC)和混合CTC/注意力机制(Attention)的迁移学习策略将模型应用于闽言方言的语音识别中.[结果]相比于跨语言迁移方法,本文方法可以使CER降低4.8个百分点以上.[结论]使用更相似的高资源源语言进行迁移学习,可以缓解低资源语音识别面临的资源受限问题,更易获得高性能的闽南方言语音识别模型.
林佳燕;黄胡恺;卢胜辉;许彬彬;李琳;洪青阳;
厦门大学信息学院,福建厦门361005厦门大学中国语言文学系,福建厦门361005厦门大学电子科学与技术学院,福建厦门361005
计算机与自动化
语音识别闽南方言迁移学习自监督
《厦门大学学报（自然科学版）》 2024 (004)
P.687-693 / 7
国家自然科学基金(62276220,62371407)。
评论