基于深度学习的对话系统构建OA

近年来,Transformer以及BERT模型的出现彻底改变了NLP领域的发展.本研究成果利用BERT模型的变体UniLM进行下游任务训练,训练出对话模型.为了丰富对话系统的功能,创新性地构造了知识库模块、语言模拟模块、情感模块、语料自学习模块以及敏感词汇过滤模块.本系统额外训练了BERT模型及其另一个变体XLM-RoBERTa模型,分别对其训练了分类以及文本相似度任务.另外,为实现语料自学习模块,本文还借助了预训练BERT模型时的NSP任务,判…查看全部>>