基于Transformer的微博文本情感分析方法OACSTPCD

论文利用Transformer模型中的自注意力机制,模拟人脑神经系统对微博文本进行特征提取,利用TextCNN层将经过Transformer的词向量进行卷积,得到相邻词向量之间的时序信息,经过Tanh激活函数对模型进行优化,最后将卷积层得到的时序注意力权重应用于文本分类。实验结果证明,论文提出的模型在NLP&CC2013数据集上的准确率相对于Transformer模型有了0.38%的提高,并且在精确率、召回率和F1值上也有一定程度的提升。