首页/ 金瓜子科技发展（北京）有限公司/ 专利详情

一种网页爬取的方法、装置、存储介质及电子设备

基本信息

申请号 CN201811467095.2 申请日 -
公开（公告）号 CN109582850A 公开（公告）日 2021-07-02
申请公布号 CN109582850A 申请公布日 2021-07-02
分类号 G06F16/951 分类 计算；推算；计数;
发明人 陈耽思 申请（专利权）人 金瓜子科技发展（北京）有限公司
代理机构 北京集佳知识产权代理有限公司 代理人 罗满
地址 100085 北京市海淀区清河安宁庄东路18号23号楼二层2356
法律状态 -

摘要

摘要 本发明提供了一种网页爬取的方法、装置、存储介质及电子设备，其中，该方法包括：获取目标网页的样式数据，样式数据为对目标网页的源数据基于反爬策略生成的数据；根据预先生成的样式数据与真实数据之间的对应关系确定与样式数据对应的真实数据，并将样式数据替换为相应的真实数据；确定目标网页所有的真实内容。通过本发明实施例提供的一种网页爬取的方法、装置、存储介质及电子设备，根据预先生成的样式数据与真实数据之间的对应关系确定与该样式数据对应的真实数据，从而可以快速、准确地获取网页的所有真实数据；该方式不需要重复使用图像识别技术识别网页中的数据，节省了大量的处理资源，大大提高了抓取速度和抓取效率。