一种流式企业大数据处理方法和存储介质
基本信息
| 申请号 | CN202111394307.0 | 申请日 | - |
| 公开（公告）号 | CN114416785A | 公开（公告）日 | 2022-04-29 |
| 申请公布号 | CN114416785A | 申请公布日 | 2022-04-29 |
| 分类号 | G06F16/2455（2019.01）I;G06F16/22（2019.01）I;G06F16/906（2019.01）I;G06F16/182（2019.01）I;G06F9/54（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 刘子曜;白峻峰;张文战 | 申请（专利权）人 | 北京基智科技有限公司 |
| 代理机构 | 深圳市兰锋盛世知识产权代理有限公司 | 代理人 | 吴巧华 |
| 地址 | 100000北京市朝阳区北苑路乙108号6幢一层10号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明涉及大数据处理技术领域，且公开了一种流式企业大数据处理方法和存储介质，述方法包含以下步骤：步骤一，对流式数据进行预处理1）处理累积的大数据即历史数据生成中间结果集，划分该结果集并进行缓存到各计算节点；2）实时监听数据源，并按照时间前后顺序对流式大数据进行升序排序。该种流式企业大数据处理方法和存储介质，通过预先对累积的历史大数据生成结果积，并对结果集进行划分，便于对上次的结果集进行承接，通过对数据源进行实时监听，使得自动对数据源进行监控，无需进行手动触发，而对数据的流式读取方式，大大的降低了对内存的占用，使得数据处理速度大大提升，当数据源的实时数据有更新时可以实时得到处理结果。 |
