面向情感分类的非监督异构对比蒸馏模型OA北大核心CSTPCD

网络评论的数量呈爆炸式增长,对这些评论进行情感分析有着重要的研究价值。自从BERT模型被提出后,预训练模型成为情感分析任务上的常用方法,但存在模型参数量过大、推理速度缓慢的缺点。在此之前情感分析的方法是一些简单的神经网络模型,训练速度快,可部署性强,但效果一般。因此,结合两类方法的优点,该文提出一种异构设置的非监督对比蒸馏模型,用于网络评论情感分析。在相同数据集和计算资源的情况下,该模型较BERT模型参数量减少146倍,推理时间减少270倍;较DistilBERT蒸馏参数量减少88倍,推理时间减少42.3倍,效果提升1.8个百分点(68.3%vs 70.1%)。