首页/ 杭州实在智能科技有限公司/ 专利详情

一种RPA机器人智能元素定位拾取方法及系统

基本信息

申请号 CN202011206854.7 申请日 -
公开（公告）号 CN112101357B 公开（公告）日 2021-04-27
申请公布号 CN112101357B 申请公布日 2021-04-27
分类号 G06K9/32;G06K9/62;G06N3/04;G06N3/08 分类 计算；推算；计数;
发明人 欧阳小刚 申请（专利权）人 杭州实在智能科技有限公司
代理机构 杭州云睿专利代理事务所（普通合伙） 代理人 张骁敏
地址 311100 浙江省杭州市余杭区人工智能小镇六幢六层
法律状态 -

摘要

摘要 本发明公开了一种RPA机器人智能元素定位拾取方法及系统，首先采用模板匹配、OCR和图像检索相结合的计算机视觉技术，解决远程桌面、虚拟系统等元素无法定位和操作的问题，提出的新方案能够更加准确和稳定地定位和拾取图片上元素的位置和内容；其次采用基于模板匹配的元素定位方案，不需要大量的标注样本，且更加稳定和可控；第三，融合像素点特征、角点特征和深度神经网络的卷积特征，使得模板匹配的效果更准确和稳定，同时OCR技术也能进一步辅助带文字信息的元素进行定位；最后，采用图像检索技术构建模板库检索引擎，能够精准判断要处理的页面图片属于哪种应用程序，从而解决多场景下模板库增长导致的检索和匹配速度慢的问题。