一种基于网络环境下的大数据的处理方法和系统

基本信息

申请号 CN201710546811.5 申请日 -
公开(公告)号 CN107402980A 公开(公告)日 2017-11-28
申请公布号 CN107402980A 申请公布日 2017-11-28
分类号 G06F17/30(2006.01)I;H04L29/08(2006.01)I 分类 计算;推算;计数;
发明人 徐振超 申请(专利权)人 北京亿赛通网络安全技术有限公司
代理机构 北京金律言科知识产权代理事务所(普通合伙) 代理人 北京亿赛通网络安全技术有限公司
地址 100085 北京市海淀区西二旗大街39号3层301-1
法律状态 -

摘要

摘要 本发明实施例提供了一种基于网络环境下的大数据的处理方法和系统,其中,所述方法包括:获取符合预定条件的多条具有会话标识的第一会话数据;将具有相同的会话标识的第一会话数据进行合并,分别得到与会话标识各自对应的第二会话数据;如果当前到达缓存合并周期,则将所述第二会话数据与已缓存的具有相同的会话标识的第三会话数据进行合并,得到与会话标识各自对应的第四会话数据;以及/或者,如果当前到达缓存清空周期,则将所述第二会话数据、已缓存的第三会话数据、第四会话数据的至少之一写入输出文件,以用于输出展示。本发明实施例降低了网络环境下大数据合并的资源占用,缓解了合并的压力,节省了合并的时间,实现合并的动态调节。