首页/ 上海艺赛旗软件股份有限公司/ 专利详情

基于多粒度学习的软件界面元素检测方法、系统、计算机设备和存储介质

基本信息

申请号 CN201911411268.3 申请日 -
公开（公告）号 CN111104339A 公开（公告）日 2020-05-05
申请公布号 CN111104339A 申请公布日 2020-05-05
分类号 G06F11/36;G06N3/04 分类 计算；推算；计数;
发明人 胡立军;唐琦松;林平;吴鑫;刘继明 申请（专利权）人 上海艺赛旗软件股份有限公司
代理机构 南京经纬专利商标代理有限公司 代理人 上海艺赛旗软件股份有限公司
地址 201107 上海市闵行区申长路1398弄1-4号阿里中心T2栋3楼
法律状态 -

摘要

摘要 本发明公开了一种基于多粒度学习的软件界面元素检测与定位方法、系统、计算机设备和存储介质，本发明首先获得操作界面图像；将图像输入深度卷积神经网络提取特征，得到同等尺寸的中间结果；将中间结果进行网格化划分；输入多粒度级联背景判别器，检测器会以网格为单位对中间图像进行背景网格的检测；剔除背景网格后，将剩余的网格部分输多粒度的软件界面元素检测模型进行软件界面元素检测，输出所要检测的控件类型和区域大小。本发明所提出的多粒度级联的背景网格检测装置能够快速有效的找出背景网格，且提高了软件界面元素检测定位的效率和准确度。