一种通用的网页主题内容提取方法和系统专利查询专利号|摘要-满商公司网

一种通用的网页主题内容提取方法和系统

基本信息

申请号	CN201810572726.0	申请日	-
公开（公告）号	CN108920434A	公开（公告）日	2018-11-30
申请公布号	CN108920434A	申请公布日	2018-11-30
分类号	G06F17/22	分类	计算；推算；计数;
发明人	钟刚	申请（专利权）人	武汉酷犬数据科技有限公司
代理机构	北京一格知识产权代理事务所（普通合伙）	代理人	武汉酷犬数据科技有限公司
地址	430000 湖北省武汉市东湖高新技术开发区光谷软件园A1-F10
法律状态	-

摘要

本发明特别涉及一种通用的网页主题内容提取方法和系统，方法包括以下步骤：构建目标网页的DOM树，对DOM树的节点进行清理，并按照与正文内容的相关性对剩余节点进行属性标记；遍历DOM树，将DOM树的剩余节点分类缓存；根据各个类别中节点与所述可视标题节点的距离判断所述节点的内容是否为主题内容，并根据判断结果完成对目标网页主题内容的提取。本发明提供了一种更为优化的基于语义的网页信息抽取方法，其基于页面结构上存在的强关联关系，对DOM树的正文可视标题节点进行识别并对其他节点进行分类缓存，然后以DOM树中其他类别节点与正文可视标题节点的距离作为判定节点是否属于主题内容的重要依据，从而提高了网页信息抽取的精度和效率。