一种新闻评论页面的爬取方法及系统
基本信息
| 申请号 | CN200910242055.2 | 申请日 | - |
| 公开（公告）号 | CN102087648B | 公开（公告）日 | 2013-06-19 |
| 申请公布号 | CN102087648B | 申请公布日 | 2013-06-19 |
| 分类号 | G06F17/30(2006.01)I | 分类 | 计算；推算；计数; |
| 发明人 | 严华梁;刘伟;杨建武;万小军;肖建国 | 申请（专利权）人 | 北京方正电子政务信息科技有限公司 |
| 代理机构 | 北京天悦专利代理事务所（普通合伙） | 代理人 | 北京大学;北大方正集团有限公司;北京方正电子政务信息科技有限公司;北京北大方正电子有限公司 |
| 地址 | 100871 北京市海淀区颐和园路5号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种新闻评论页面的爬取方法及系统，属于信息检索和数据集成技术领域。该方法及系统首先从新闻网站起始页面出发，对页面进行广度遍历，在遍历过程中获取满足深度限制的页面信息；然后计算页面的特征值，根据特征值和预设阈值之间的大小关系，从页面中识别出新闻评论页面；最后获取新闻评论页面的翻页链接，并根据翻页链接获取其他新闻评论页面。本发明所述方法及系统，能够从新闻网站的网页中自动爬取出新闻评论页面，而且爬取的速度快，爬取的新闻评论页面全面。 |
