一种面向微博的动态主题检测与演变追踪方法

基本信息

申请号 CN201410488391.6 申请日 -
公开(公告)号 CN104199974A 公开(公告)日 2014-12-10
申请公布号 CN104199974A 申请公布日 2014-12-10
分类号 G06F17/30(2006.01)I;G06F17/27(2006.01)I 分类 计算;推算;计数;
发明人 闫碧莹;邓攀;余雷;赵鑫;袁伟;万安格 申请(专利权)人 中科明远(北京)并行软件有限公司
代理机构 北京永创新实专利事务所 代理人 赵文利
地址 100190 北京市海淀区中关村南四街4号
法律状态 -

摘要

摘要 本发明提出一种面向微博的动态主题检测与演变追踪方法,属于智能信息处理技术领域。方法包括:步骤1,构建分布式爬虫,获取微博数据;步骤2,对微博数据进行预处理;步骤3,进行中文分词去除停用词,获取词集合VOC;步骤4,对各个时间区间的微博数据进行LDA聚类,提取潜在主题;步骤5,筛选出每个时间区间内的微博热门主题;步骤6,对全局时间的热门主题进行层次聚类,获取各主题之间的聚合和分化关系;步骤7,根据主题的聚合和分化关系,可视化主题演变过程。本发明以较低的时间复杂度挖掘出一个事件在不同时期的主题词分布和同一个主题在不同时期的细粒度主题,具有高效性、鲁棒性等优点,具有较大的实用价值。