一种基于大数据的数据采集方法和系统专利查询专利号|摘要-满商公司网

一种基于大数据的数据采集方法和系统

基本信息

申请号	CN202010028465.3	申请日	-
公开（公告）号	CN111259220B	公开（公告）日	2021-03-02
申请公布号	CN111259220B	申请公布日	2021-03-02
分类号	G06F16/951(2019.01)I;G06F16/955(2019.01)I	分类	计算；推算；计数;
发明人	罗水芳;邵州华;楼未吉	申请（专利权）人	杭州拾贝知识产权服务有限公司
代理机构	厦门福贝知识产权代理事务所（普通合伙）	代理人	陈远洋
地址	310000浙江省杭州市江干区红普路788号创智绿谷发展中心6号楼1202室
法律状态	-

摘要

本发明给出了一种基于大数据的数据采集方法和系统，包括利用网络爬虫抓取待采集的数据源的URL集合，获取URL对应的网页；基于PageRank算法与HITS算法分别计算网页的评分，获得网页的总价值分并按总价值分排序；按网页的总价值分的优先级解析并获取网页中的图片和/或文字，获取网页中包含的关键词；计算关键词与关键词对应的网页的相关度，并基于相关度向共识节点发送共识请求，响应于相关度大于预设的第二阈值且共识程度大于预设的第三阈值，将关键词存储至对应类别的区块链中，网页存储至设置于区块链的节点上的数据库中，并建立网页与关键词映射关系。利用该方法建立关键词与网页的映射，采集到的数据更加的精准且更加具有关联性和共识性。