一种离线数据包存储分析方法及装置

基本信息

申请号 2020112047466 申请日 -
公开(公告)号 CN112256208A 公开(公告)日 2021-01-22
申请公布号 CN112256208A 申请公布日 2021-01-22
分类号 G06F3/06(2006.01)I;G06F9/54(2006.01)I 分类 计算;推算;计数;
发明人 赵熙 申请(专利权)人 南京云信达科技有限公司
代理机构 - 代理人 -
地址 210000江苏省南京市中国(江苏)自由贸易试验区南京片区团结路99号孵鹰大厦A座309室、310室
法律状态 -

摘要

摘要 本发明提出了一种离线数据包存储分析方法及装置,涉及数据处理技术领域。该方法包括:获取离线数据包,并将其发送至多个处理CPU;处理线程对离线数据包进行拆分,以得到数据包块,并将数据包块写入对应的内存缓冲区;利用读线程和写线程将数据包块写入共享内存;再将其通过索引方式从共享内存中直接写入磁盘。从网络接口接收到的离线数据包先被分散至不同的处理CPU进行处理,实现负载的均衡,提高处理效率。然后离线数据包会被进行拆分处理,以使离线数据包被多个处理线程并行处理,从而可以并行化分析离线数据包,进一步提高处理效率。对离线数据包建立各种索引,离线数据包会存放在磁盘上不同的文件中,进行高效的并行化处理。