首页/ 北京精准沟通传媒科技有限公司/ 专利详情

数据处理方法、爬虫装置、介质及电子设备

基本信息

申请号 CN202110477956.0 申请日 -
公开（公告）号 CN113190736A 公开（公告）日 2021-07-30
申请公布号 CN113190736A 申请公布日 2021-07-30
分类号 G06F16/951（2019.01）I;G06F16/955（2019.01）I 分类 计算；推算；计数;
发明人 杨光;周天星 申请（专利权）人 北京精准沟通传媒科技有限公司
代理机构 - 代理人 -
地址 100089北京市海淀区西三环北路50号院8号楼8层905
法律状态 -

摘要

摘要 本发明涉及一种数据处理方法、爬虫装置、介质及电子设备。一种数据处理方法，包括：获取与爬虫任务相关的配置数据；获取执行爬虫任务下载得到的返回数据；利用从配置数据中获取的与返回数据的解析相关的信息，对返回数据进行解析，获得期望提取的结果数据；确定返回数据的类型是否为第一类型，如果否，则将结果数据转换为第一类型的结果数据，否则，则不对结果数据进行转换；存储第一类型的结果数据。根据本发明的方案，能够不受限于所爬取目标对象的类型而统一地管理所爬取的数据，便于对所爬取数据的后续管理、维护及各种处理。