一种基于视频分析的RPA流程自动生成方法与系统
基本信息
| 申请号 | CN202110760829.1 | 申请日 | - |
| 公开（公告）号 | CN113255614A | 公开（公告）日 | 2021-08-13 |
| 申请公布号 | CN113255614A | 申请公布日 | 2021-08-13 |
| 分类号 | G06K9/00（2006.01）I;G06K9/20（2006.01）I;G06K9/34（2006.01）I;G06K9/62（2006.01）I;G06F16/583（2019.01）I;G06F16/783（2019.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I;G06N20/00（2019.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 欧阳小刚 | 申请（专利权）人 | 杭州实在智能科技有限公司 |
| 代理机构 | 杭州云睿专利代理事务所（普通合伙） | 代理人 | 张骁敏 |
| 地址 | 310000浙江省杭州市余杭区人工智能小镇六号楼六层 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种基于视频分析的RPA流程自动生成方法与系统，应用有视频转写和日志解析模块、视频读取和关键帧抽取模块、关键帧元素提取模块、元素图片检索模块、机器人流程自动化组件匹配模块，采用关键帧抽取技术和操作日志相结合的方式，定位到包含核心操作步骤的视频关键帧；采用目标检测、光学字符识别和图像检索技术相结合的方式，对关键帧图像上的各类界面元素进行定位、识别和分类，得到每一个核心操作步骤对应的操作对象和操作行为；采用基于机器学习的分类模型构建<操作对象，操作行为>二元组到机器人流程自动化组件的映射关系，从而最终生成可执行的流程脚本。 |
