基于深度学习点线特征和IMU紧耦合的机器人运动估计方法

基本信息

申请号 CN202210283858.8 申请日 -
公开(公告)号 CN114708293A 公开(公告)日 2022-07-05
申请公布号 CN114708293A 申请公布日 2022-07-05
分类号 G06T7/207(2017.01)I;G06T7/70(2017.01)I;G06V10/40(2022.01)I;G06V10/25(2022.01)I;G06V10/26(2022.01)I;G06V10/82(2022.01)I;G06N3/04(2006.01)I 分类 计算;推算;计数;
发明人 许泽曦;蔡述庭;熊晓明;刘远;黄楠;张启航 申请(专利权)人 广东工业大学
代理机构 广东广信君达律师事务所 代理人 -
地址 510062广东省广州市越秀区东风东路729号
法律状态 -

摘要

摘要 本发明公开了一种基于深度学习点线特征和IMU紧耦合的机器人运动估计方法,包括:对当前帧图像进行实例分割处理得到动态像素和静态像素;对于静态像素部分,提取预测的重复性单元和稠密描述子并进行线特征提取;获取像素级可重复性图和分块级可重复性图,采用基于可重复性的残差,构造点特征重投影误差函数,从而估计机器人位姿;利用线特征构建线特征重投影误差函数,约束位姿估计;对连续两帧图像之间的IMU数据进行预积分,构造IMU误差函数对位姿的迭代优化;最小化点特征重投影误差函数、线特征重投影误差函数以及IMU误差函数之和来优化所有状态变量,求得准确的机器人位姿信息。本发明解决了现有技术在动态环境中定位精度不高、鲁棒性差等问题。