基于级联注意力和边界预测改进的轻量Segformer语义分割OA

针对Segformer网络中无法有效聚合和使用多尺度信息并且边界模糊的问题,提出了基于级联注意力和边界预测的语义分割网络。在Segformer的解码器部分,通过使用级联注意力,有效聚合了多尺度特征信息并通过聚合多尺度特征进行边界预测,对语义分割任务进行辅助。在梯度更新部分,加入梯度手术,减少因添加辅助任务导致的任务之间出现的梯度冲突对训练的干扰问题,加快模型收敛速度。在ADE20k数据集和Cityscapes数据集上进行实验,通过增加了2.69 M参数和24.67 G的计算量,提高了网络2.38%的平均交并比,证明了所提方法的有效性。