一种房屋信息采集服务系统
基本信息
申请号 | CN201410545328.1 | 申请日 | - |
公开(公告)号 | CN104317857B | 公开(公告)日 | 2019-03-22 |
申请公布号 | CN104317857B | 申请公布日 | 2019-03-22 |
分类号 | G06F16/951(2019.01)I; G06F16/955(2019.01)I | 分类 | 计算;推算;计数; |
发明人 | 贾岩 | 申请(专利权)人 | 深圳市易图资讯股份有限公司 |
代理机构 | 深圳市世纪恒程知识产权代理事务所 | 代理人 | 深圳市易图资讯股份有限公司 |
地址 | 518000 广东省深圳市福田区香林路36号九润大厦2至5层 | ||
法律状态 | - |
摘要
摘要 | 本发明公开了一种房屋信息采集服务系统,包括:网站爬虫组件,用于针对一个网站的抓取工作,针对网站的页面元素与特点进行专门的解析,完成数据抽取后,映射到对应的数据实体当中,再交给网站爬虫服务模块进行数据的保存;监控服务模块,用于监控网站爬虫服务模块的工作情况,及各个网站爬虫组件的工作情况,及时发现网站爬虫组件是否工作正常,抓取的数据是否正确;管理服务模块,用于整个网站爬虫服务的管理与配置;部署服务模块,用于升级了网站爬虫组件后部署升级网站爬虫组件;调度服务模块,用于调度网站爬虫服务里面的网站爬虫组件如何工作、什么时候工作、什么时候停止。以解决对抓取目标的描述或定义、对网页或数据的分析与过滤、对URL的搜索策略的问题。 |
