基于Storm的食品数据并行计算一致性问题的优化方法
基本信息
申请号 | CN201810498850.7 | 申请日 | - |
公开(公告)号 | CN108875786B | 公开(公告)日 | 2021-04-09 |
申请公布号 | CN108875786B | 申请公布日 | 2021-04-09 |
分类号 | G06K9/62(2006.01)I | 分类 | 计算;推算;计数; |
发明人 | 江志英;朱群雄;陈恺;李芳;许方舳;高堰泸;王旭;刘璐 | 申请(专利权)人 | 食品安全与营养(贵州)信息科技有限公司 |
代理机构 | 北京太兆天元知识产权代理有限责任公司 | 代理人 | 张洪年 |
地址 | 100029北京市朝阳区北三环东路15号北京化工大学 | ||
法律状态 | - |
摘要
摘要 | 本发明公开了一种基于Storm的食品数据并行计算一致性问题的优化方法,首先获取食品事件数据,其次对每个事件进行single‑pass聚类,然后通过动态获取簇增量和延时计算两种方式解决数据不一致的问题,从而实现流式数据聚类,用于发现舆论导向,对公众关注点进行快速响应。本发明提供的基于Storm的食品数据并行计算一致性问题的优化方法通过Storm分布式框架并行处理以及动态获取簇增量和随机延时的方法提高了舆情数据的处理效率和准确率,解决了并行处理数据不一致以及遍历簇次数过多的问题。因此,本发明提供的技术方案实现了基于Storm框架的single‑pass算法,而且对single‑pass算法进行了改进,大大提高了运算效率,提高了优化方法的时效性。 |
