一种特定主体的跨网站通用新闻采集方法专利查询专利号|摘要-满商公司网

一种特定主体的跨网站通用新闻采集方法

基本信息

申请号	CN202010378695.2	申请日	-
公开（公告）号	CN111581478A	公开（公告）日	2020-08-25
申请公布号	CN111581478A	申请公布日	2020-08-25
分类号	G06F16/951(2019.01)I	分类	-
发明人	冯翱;王维宽;宋馨宇;徐天豪	申请（专利权）人	成都点石瑞达科技有限公司
代理机构	成都智涌知识产权代理事务所（普通合伙）	代理人	周正辉
地址	610200四川省成都市西南航空港经济开发区学府路1段24号
法律状态	-

摘要

本发明涉及一种特定主体的跨网站通用新闻采集方法,包括：步骤1：引入疏密度判断的方法，对采集到的新闻页面使用行块分布函数进行预处理；步骤2：根据行块分布函数中显示的文本的分布情况，通过预先设定的阈值，确定可能包含正文的区域；步骤3：将预处理过的页面源码重构为DOM树；步骤4：对其使用readability算法进行加减权操作，根据设定的分数要求，判断正文内容或无用元素；步骤5：对处理后的内容，根据分数进行重新拼接，重组后生成正文内容。本发明将行块分布函数与Readability算法相结合，进行参数调优后，可快速准确提取网页的新闻数据，采用分布式部署及反爬、去重模块，系统整体具有效率高，鲁棒性好等特点。