用于确定列表页节点的方法与设备
基本信息
| 申请号 | CN201810948818.4 | 申请日 | - |
| 公开（公告）号 | CN109190003B | 公开（公告）日 | 2021-03-02 |
| 申请公布号 | CN109190003B | 申请公布日 | 2021-03-02 |
| 分类号 | G06F16/951(2019.01)I | 分类 | 计算；推算；计数; |
| 发明人 | 翟光景;田进太;赵庆平;刘益东 | 申请（专利权）人 | 上海蜜度信息技术有限公司 |
| 代理机构 | 上海百一领御专利代理事务所（普通合伙） | 代理人 | 王奎宇;甘章乖 |
| 地址 | 201800上海市嘉定区安亭镇杭桂路1112号8层J71室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本申请的目的是提供一种用于确定列表页节点的方法与设备。与现有技术相比，本申请通过获取根节点下的初始子节点，并基于所述初始子节点确定各级内容页节点，然后基于所述各级内容页节点至所述根节点的距离确定列表页节点。通过这种方式，能够快速识别出列表页节点，由于内容页的超链接理论上都在列表页上出现，则这种方式能够使爬虫搜索向下进行时只需要对列表页和首页进行超链接提取，从而提升爬虫的效率，减少硬件的消耗。 |
