基于实景数据增强和双路径融合网络的实时街景语义分割算法OA北大核心CSTPCD

街景图像的分割在工业运用中具有十分重要的作用,但是街景图像具有种类繁多、光照多变等特点,此外,街景分割任务在追求准确性的同时要兼顾实时性,以上特点使得该任务具有很大的挑战性.本文针对这一挑战性任务提出了一个由空间路径和细节路径组成的双路径网络(Dual-path Fusion Network,DFNet),其中细节路径利用高分辨率的输入得到丰富的边界信息,空间路径利用细节路径产生的高质量特征图获得足够多的语义信息;网络的开始嵌入了一个可训练的图像预处理模块(Image Preprocessing Module,IPM),该模块可以使光照不同的图像进入网络正式训练之前在RGB通道上具有方差和均值的一致性;经过预处理模块之后的特征图会分别输入到细节路径和空间路径;本文提出了一个条状注意力细化模块(Attention Refinement Module,ARM),并将其放到空间路径的最后,可以将通道级信息和局部条状信息有效结合起来;在网络的最后,利用图像融合模块(Feature Fusion Module,FFM)对两条路径的特征信息进行融合,得到最后的分割结果.同时,本文还提出了一种基于小目标重组的"复制粘贴"数据增强方法,减弱了小目标样本数据不均衡的问题,同时扩充了数据集,该算法可以提升单个网络近2％的平均交并比(mIoU).本文利用所提算法在CityScapes和CamVid数据集上进行了实验验证,对于CityScapes数据集来说,输入大小为1024×2048,其每秒处理帧数(FPS)和mIoU分别达到了98和70.1％;对于CamVid数据集来说,输入大小为720×960,其FPS和mIoU分别达到了208和65.7％.与已有算法相比,本文算法的推理速度要优于最先进的实时街景语义分割算法,同时保持了较高的分割结果准确性,本文算法在街景图像语义分割速度和分割性能之间取得了良好的平衡.