一种无监督可迁移的3D视觉物体抓取方法

基本信息

申请号 CN201911289276.5 申请日 -
公开(公告)号 CN112989881A 公开(公告)日 2021-06-18
申请公布号 CN112989881A 申请公布日 2021-06-18
分类号 G06K9/00;G06K9/32;G06N3/04;G06N3/08;G06T7/11;G06T7/80 分类 计算;推算;计数;
发明人 张云飞;王衍军;丁泉;吴双;吕忠源 申请(专利权)人 深圳慧智星晨科技有限公司
代理机构 - 代理人 -
地址 518000 广东省深圳市宝安区福海街道塘尾社区荔园路翰宇生物工程有限公司6号楼604
法律状态 -

摘要

摘要 本发明公开了一种无监督可迁移的3D视觉物体抓取方法。系统由一个RGBD(彩色+深度)摄像头、一个工业机械臂、和上位机控制系统组成。方法包括以下步骤(1)获取常见的混杂待抓取物体的4通道的RGBD图像,人工标出待抓取物体的边缘部分,作为源数据集;(2)获取项目所需的特定混杂待抓取物体,只对一小部分测试集进行边缘标注,其余图像不用标注,作为目标数据集;(3)将源数据集和目标数据集的RGBD图像输入对抗性卷积神经网络,训练网络同时对源数据集和目标数据集的物体边缘进行准确识别;(4)去除深度图中的边缘及背景平面,分割出待抓取物体;(5)根据深度图分割结果,识别待抓取物体中每个点的可抓取概率;(6)选取可抓取概率最大点,计算该点的坐标及法向量,发送给机器人进行抓取。