一种使用网络爬虫技术获取安全设备数据信息的方法
基本信息
申请号 | CN202110444788.5 | 申请日 | - |
公开(公告)号 | CN113254744A | 公开(公告)日 | 2021-08-13 |
申请公布号 | CN113254744A | 申请公布日 | 2021-08-13 |
分类号 | G06F16/951(2019.01)I | 分类 | 计算;推算;计数; |
发明人 | 司磊;李刚;韩文善 | 申请(专利权)人 | 中电长城网际系统应用广东有限公司 |
代理机构 | 中山市捷凯专利商标代理事务所(特殊普通合伙) | 代理人 | 石仁 |
地址 | 528400广东省中山市东区兴文路北侧建筑物5楼(中山市第一市区人民检察院旁) | ||
法律状态 | - |
摘要
摘要 | 本发明属于计算机软件技术领域,尤其涉及一种使用网络爬虫技术获取安全设备数据信息的方法,首先对待采集页面发送采集请求,再使用RestTemplate工具中的exchange方法设置待采集网页的登陆相关的实体参数,然后通过RestTemplate工具链接网页并进行模拟登陆,链接至待采集网页,由RestTemplate工具调用预设的实体参数进行登陆认证操作,在登陆后对网页数据进行爬取并存入本地数据库,最后对本地数据库内的数据进行统计及展示至前端页面,通过这种方式绕过身份认证限制,通过爬虫技术,无需进行身份登录认证即可爬取我们想要的数据信息,避免了人工参与的弊端,且无需通过二次开发得到登录验证的接口,减少开发工作量,降低成本。 |
