一种基于数据挖掘技术的舆情监测系统

基本信息

申请号 CN201610507203.9 申请日 -
公开(公告)号 CN106202278B 公开(公告)日 2019-08-13
申请公布号 CN106202278B 申请公布日 2019-08-13
分类号 G06F16/951 分类 计算;推算;计数;
发明人 刘丽君;李成华 申请(专利权)人 武汉泰迪智慧科技有限公司
代理机构 武汉智嘉联合知识产权代理事务所(普通合伙) 代理人 武汉泰迪智慧科技有限公司
地址 430000 湖北省武汉市东湖新技术开发区高新大道999号A5北2-509
法律状态 -

摘要

摘要 一种基于数据挖掘技术的舆情监测系统,包括:数据获取单元,用于通过网络爬虫程序爬取互联网舆情初始数据;分片单元,用于将互联网舆情初始数据进行输入分片;计算单元,用于合并中间文件中的重复键值,以降低映射输出文件冗余;缓存单元,用于在内存中开辟环形内存缓冲区,环形内存缓冲区用于映射输出文件输出;输出单元,用于将所有的映射输出文件并存储到分布式文件存储系统上;建模单元,用于建立网络舆情预测模型;预测单元,用于从分布式文件存储系统上读取映射输出文件并通过网络舆情预测模型进行舆情预测。