一种微博信息抓取方法及装置

基本信息

申请号 CN201310334946.7 申请日 -
公开(公告)号 CN103366018B 公开(公告)日 2017-11-03
申请公布号 CN103366018B 申请公布日 2017-11-03
分类号 G06F17/30(2006.01)I 分类 计算;推算;计数;
发明人 韩中腾;崔世起 申请(专利权)人 人民搜索网络股份公司
代理机构 北京集佳知识产权代理有限公司 代理人 王宝筠
地址 100026 北京市朝阳区金台西路2号[4-1]15幢3层370室
法律状态 -

摘要

摘要 一种微博信息抓取方法及装置,所述方法包括:获取待抓取微博用户,并判断所述待抓取微博用户的类型;如果所述待抓取微博用户为活跃用户,则计算该待抓取微博用户的抓取周期,并根据所述抓取周期预测抓取时间点进行微博信息抓取;如果所述待抓取微博用户为非活跃用户,则获取该待抓取微博用户的抓取状态以及剩余抓取用户量,如果所述抓取状态表示能进行微博信息抓取,且所述剩余抓取用户量不为零,则对所述待抓取微博用户进行微博信息抓取。本发明通过对不同类型的用户进行区别处理的方式,实现了抓取资源的合理分配与使用,提高了资源利用率,同时还能保证每次抓取过程均能抓取到较多的微博信息,提高了信息抓取效率。