一种基于孪生网络预训练语言模型的文本匹配方法研究OA
A Text Matching Method Based on a Pretraining Language Model:Sentence Embeddings Using Siamese BERT-Networks
孪生网络预训练语言模型(Sentence Embeddings using Siamese BERT-Networks,SBERT)在文本匹配的表示层面上存在两个缺点:(1)两个文本查询经 BERT Encoder 得到向量表示后,直接进行简单计算;(2)该计算不能考虑到文本查询之间更细粒度表示的问题,易产生语义上的偏离,难以衡量单个词在上下文中的重要性.该文结合交互方法,提出一种结合多头注意力对齐机制的 SBERT 改进模型.该模型首先获取经 …查看全部>>
卢美情;申妍燕
五邑大学智能制造学部 江门 529020中国科学院深圳先进技术研究院先进计算与数字工程研究所 深圳 518055
信息技术与安全科学
文本匹配Sentence-BERT多头注意力对齐机制
《集成技术》 2023 (2)
53-63,11
国家重点研发计划项目(2019YFB1405200)广东省2019年省拨高建"冲补强"专项项目(5041700175)教育部第二批新工科研究与实践项目(E-RGZN20201036)
评论