首页|期刊导航|信息与控制|融合深度学习与稠密光流的动态视觉SLAM

融合深度学习与稠密光流的动态视觉SLAMOA北大核心CSTPCD

Dynamic Visual SLAM Integrating Deep Learning and Dense Optical Flow

中文摘要英文摘要

针对传统视觉 SLAM(simultaneous localization and mapping)算法在环境目标静止或低速运动状态工作良好,但在场景中存在人员走动、车辆运动等动态干扰时精度不高、鲁棒性不强的问题,提出了基于ORB-SLAM3(Oriented FAST and Rotated BRIEF-SLAM3)框架的动态 SLAM 系统,在 ORB-SLAM3 框架中融合了YOLACT++(You Only Look At Coeffi-cienTs)深度学习性;提出了运动等级传递策略,将实例分割网络和稠密光流场融合,达到SLAM系统效率与精度的联合优化.在公开数据集TUM上的测试结果表明,所提系统在动态场景下具有优异的性能,低动态场景下的均方根误差、平均值、中值和标准差等指标相比ORB-SLAM3提高了约60%,高动态场景下超90%.楼道场景的实测结果表明,所提系统在提取特征时能够有效剔除动态目标上的特征点,保证了系统的精度.

Traditional visual simultaneous localization and mapping(SLAM)algorithms function well when the environmental objects are stationary or moving at low speeds,but their precision and ro-bustness are low when dynamic disturbances such as personnel walking and vehicle moving are present.To address this problem,a dynamic SLAM system is proposed based on the Oriented FAST and Rotated BRIEF-SLAM3(ORB-SLAM3)framework,which integrates the You Only Look At CoefficienTs(YOLACT++)deep learning network with the ORB-SLAM3 framework for detecting dynamic targets.A dense optical flow field is extracted and incorporated with visual ge-ometry to discover the motion attributes.A motion-level transfer strategy that integrates an instance segmentation network and dense optical flow field to achieve joint optimization of SLAM system ef-ficiency and accuracy is proposed.The test results on the public dataset TUM present that the pro-posed system has an outstanding performance in dynamic scenarios.Compared with ORB-SLAM3,the root mean square error,mean error,median error,and standard deviation in low dynamic sce-narios are enhanced by approximately 60%and over 90%in high dynamic scenarios.The actual experiments in a corridor scene reveal that the proposed system can effectively eliminate feature points on dynamic targets while extracting features,thus guaranteeing system accuracy.

胡青松;任林洋;随学帅;李世银;孙彦景

中国矿业大学地下空间智能控制教育部工程研究中心,江苏徐州 221116||中国矿业大学信息与控制工程学院,江苏徐州 221116||中国矿业大学徐州市智能安全与应急协同工程研究中心,江苏徐州 221116中国矿业大学地下空间智能控制教育部工程研究中心,江苏徐州 221116||中国矿业大学信息与控制工程学院,江苏徐州 221116||中国矿业大学徐州市智能安全与应急协同工程研究中心,江苏徐州 221116中国矿业大学地下空间智能控制教育部工程研究中心,江苏徐州 221116||中国矿业大学信息与控制工程学院,江苏徐州 221116||中国矿业大学徐州市智能安全与应急协同工程研究中心,江苏徐州 221116中国矿业大学地下空间智能控制教育部工程研究中心,江苏徐州 221116||中国矿业大学信息与控制工程学院,江苏徐州 221116||中国矿业大学徐州市智能安全与应急协同工程研究中心,江苏徐州 221116中国矿业大学地下空间智能控制教育部工程研究中心,江苏徐州 221116||中国矿业大学信息与控制工程学院,江苏徐州 221116||中国矿业大学徐州市智能安全与应急协同工程研究中心,江苏徐州 221116

计算机与自动化

视觉SLAM动态目标干扰深度学习稠密光流视觉几何

visual SLAMdynamic target interferencedeep learningdense optical flowvisual geography

《信息与控制》 2024 (4)

499-507,9

国家自然科学基金项目(52474185,51874299)"双一流"建设提升自主创新能力项目(2022ZZCX01K01)中国矿业大学"工业物联网与应急协同"创新团队资助计划(2020ZY002)

10.13976/j.cnki.xk.2024.3198

评论