一种基于多种信息融合的微博信息过滤方法

基本信息

申请号 CN201410487114.3 申请日 -
公开(公告)号 CN104239539B 公开(公告)日 2017-11-07
申请公布号 CN104239539B 申请公布日 2017-11-07
分类号 G06F17/30(2006.01)I 分类 计算;推算;计数;
发明人 闫碧莹;余雷;袁伟;邓攀;赵鑫 申请(专利权)人 中科明远(北京)并行软件有限公司
代理机构 北京永创新实专利事务所 代理人 中科嘉速(北京)并行软件有限公司;中科嘉速(北京)信息技术有限公司
地址 100190 北京市海淀区中关村南四街4号
法律状态 -

摘要

摘要 本发明提出一种基于多种信息融合的微博信息过滤方法,属于智能信息处理技术领域。方法包括:步骤1,构建分布式爬虫,抓取微博数据;步骤2,对微博数据进行预处理;步骤3,对微博数据进行中文分词,去除停用词,获取分词结果,得到词集合VOC;步骤4,从微博内容角度提取特征;步骤5,从用户角度提取微博特征;步骤6,从传播路径提取特征;步骤7,构建分类模型,筛选非垃圾微博;本发明通过结合微博信息去重和分类学习算法去除微博垃圾信息的双重过程,实现微博信息过滤,既过滤掉重复微博信息,又过滤掉垃圾微博信息。