一种微博信息抓取方法及装置
基本信息
申请号 | CN201310334840.7 | 申请日 | - |
公开(公告)号 | CN103366017B | 公开(公告)日 | 2016-11-23 |
申请公布号 | CN103366017B | 申请公布日 | 2016-11-23 |
分类号 | G06F17/30(2006.01)I | 分类 | 计算;推算;计数; |
发明人 | 张爱琦;崔世起;杨青 | 申请(专利权)人 | 人民搜索网络股份公司 |
代理机构 | 北京集佳知识产权代理有限公司 | 代理人 | 王宝筠 |
地址 | 100026 北京市朝阳区金台西路2号[4-1]15幢3层370室 | ||
法律状态 | - |
摘要
摘要 | 一种微博信息抓取方法及装置,所述方法包括:获取用户发布的历史微博,并根据所述历史微博的发布时间建立所述历史微博与预设时间点间的映射关系,所述预设时间点通过预设步长选取;将映射历史微博数的偏差在预设范围内的至少两个相邻预设时间点合并为一个时间段;根据每个时间段的时间长度及其映射的每条历史微博的权重确定每个时间段的抓取周期;根据每个时间段的抓取周期以及抓取初始时间点预测用户再次发布微博的时间点,并在该预测时间点上进行微博信息抓取。如此,就可避免空闲期进行信息抓取导致的资源浪费,同时还能保证繁忙期有足够的抓取资源,通过这种变周期的抓取方式就提高了微博信息的抓取效率。 |
