一种视/触觉融合的柔性物体抓取力估计方法OA北大核心CSTPCD
针对柔性物体操纵问题,提出了一种视/触觉融合的柔性物体抓取力估计方法——多感知局部增强Transformer(MSLET)。该方法利用模型学习每种传感器模态的低维特征,推断待抓取物体的物理特征,融合各模态的物理特征向量,用于预测抓取结果,并结合安全抓取物体的经验,推断最佳抓取力。首先,提出了用于提取视觉图像和触觉图像浅层特征的Feature-to-Patch模块,它利用2种图像的浅层特征提取图像块,进而得到它们的边缘特征,充分学习数据的特征信息,更好地推断物体的物理特征。其次,提出了用于增强局部特征的Local-Enhanced模块,对多头自注意力机制生成的图像块进行深度可分离卷积处理,以此增强局部性特征处理,促进空间维度上相邻标记之间的相关性,提高抓取结果的预测准确率。最后,对比实验表明,本文算法在保证运行效率的同时,将抓取准确率相较于当前最优模型提高了10.19%,证明该算法能够有效估计柔性物体抓取力。
吴培良;李瑶;牛明月;陈雯柏;高国伟;
燕山大学信息科学与工程学院,河北秦皇岛066004 河北省计算机虚拟技术与系统集成重点实验室,河北秦皇岛066004北京信息科技大学自动化学院,北京100192
计算机与自动化
视/触觉融合抓取力估计物理特征嵌入
《机器人》 2024 (005)
P.544-553 / 10
国家自然科学基金(U20A20167,62276028);河北省自然科学基金(F2021203079);河北省中央引导地方科技发展资金(236Z1811G);河北省创新能力提升计划(22567626H)。
评论