一种界面元素识别方法及系统

基本信息

申请号 CN202110787288.1 申请日 -
公开(公告)号 CN113657444A 公开(公告)日 2021-11-16
申请公布号 CN113657444A 申请公布日 2021-11-16
分类号 G06K9/62(2006.01)I;G06N3/04(2006.01)I;G06N3/08(2006.01)I;G06F11/36(2006.01)I 分类 计算;推算;计数;
发明人 廖万里;金卓;叶锡建 申请(专利权)人 珠海金智维信息科技有限公司
代理机构 广州嘉权专利商标事务所有限公司 代理人 张芬
地址 519000广东省珠海市唐家湾镇哈工大路1号1栋A301t
法律状态 -

摘要

摘要 本发明公开了界面元素识别方法及系统,该方法包括以下步骤:获取待识别界面的图像数据;通过视觉模型获取图像数据中的控件预测目标,视觉模型的获取方法为:在深度迁移学习过程中,对谷歌目标检测模型进行第一改进,并通过样本数据集训练第一改进后的谷歌目标检测模型,得到视觉模型;基于预设阈值对控件预测目标进行筛选,得到识别界面中的控件坐标。本发明至少具有以下有益效果:提高了界面识别元素的识别速度,且识别目标成功率和精度高,能有效防止漏检。