一种分布式区域人才供需主题数据爬取方法
基本信息
| 申请号 | CN201810748962.3 | 申请日 | - |
| 公开（公告）号 | CN109033269A | 公开（公告）日 | 2018-12-18 |
| 申请公布号 | CN109033269A | 申请公布日 | 2018-12-18 |
| 分类号 | G06F17/30;G06F17/27;G06Q10/10 | 分类 | 计算；推算；计数; |
| 发明人 | 郭建;谭海波;陈良锋;张树涛;吕波;张甫;孙亚炜 | 申请（专利权）人 | 卓源信息科技股份有限公司 |
| 代理机构 | 北京隆源天恒知识产权代理事务所（普通合伙） | 代理人 | 闫冬;吴航 |
| 地址 | 243000 安徽省马鞍山市花山区霍里山大道北段698号马鞍山软件园2栋 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开一种分布式区域人才供需主题数据爬取方法，包括所述主节点模块管理所述任务库内数据并分发下载任务；所述分节点模块从所述任务库的待爬取队列中获取所述下载任务；所述分节点模块根据所述下载任务提取网页得出解析数据，并将所述解析数据传输至所述数据库内；本发明通过分布式区域人才供需主题爬虫的分布式结构以及主题相似度分析、爬取字段、数据存储的方法步骤，便于从学术网页和企业招聘网页中采集和存储专家信息和企业信息，从而为中小微企业的智力服务需求提供数据支撑。 |
