一种针对指定专家的信息爬取系统及方法
基本信息
申请号 | CN201911008059.4 | 申请日 | - |
公开(公告)号 | CN110781368A | 公开(公告)日 | 2020-02-11 |
申请公布号 | CN110781368A | 申请公布日 | 2020-02-11 |
分类号 | G06F16/951 | 分类 | 计算;推算;计数; |
发明人 | 智强;霍东云;李燕茜;张永锋;李振华 | 申请(专利权)人 | 北京赛时科技有限公司 |
代理机构 | 北京知汇林知识产权代理事务所(普通合伙) | 代理人 | 北京赛时科技有限公司;清华大学;浙江赛时科技有限责任公司 |
地址 | 100085 北京市海淀区逸成东苑5号楼3单元5层504室 | ||
法律状态 | - |
摘要
摘要 | 本发明涉及互联网技术技术领域,尤其为一种针对指定专家的信息爬取系统及方法,包括用户交互模块、候选列表爬取模块、专家信息爬取模块、数据清洗模块、数据结构化模块和专家画像模块,本发明通过设计解决现有的网络爬虫技术中,将网络上的专家数据集中爬取后存在数据库和云端中,但是这种方法需要占用较多的存储空间和服务器资源,也需要在数据的全面性和维护成本之间进行取舍,从而能准确的返回用户指定的专家信息,无需在搜索引擎中进行搜索和确认,节省了用户的时间成本,能整合多个数据源的专家数据,避免了在单一数据源中搜索不到对应专家的问题同时将大量专家数据存储在数据库和云端的方式,能够节省大量的数据库空间和维护成本。 |
