一种通用的大数据采集字节流解析系统及其实现方法专利查询专利号|摘要-满商公司网

一种通用的大数据采集字节流解析系统及其实现方法

基本信息

申请号	CN201610565549.4	申请日	-
公开（公告）号	CN106254313A	公开（公告）日	2016-12-21
申请公布号	CN106254313A	申请公布日	2016-12-21
分类号	H04L29/06(2006.01)I	分类	电通信技术;
发明人	吴建州;季统凯	申请（专利权）人	袭明科技（广东）有限公司
代理机构	广东莞信律师事务所	代理人	余伦
地址	523808 广东省东莞市松山湖科技产业园区松科苑14号楼
法律状态	-

摘要

本发明涉及计算机应用技术领域，特别是一种通用的大数据采集字节流解析系统及其实现方法。本发明由字节流预处理器和二维表解析器构成。字节流预处理器根据约定自动校验数据并根据压缩和加密方式自动选择相应的解压和解密方法对数据进行预处理；二维表解析器按照字节流格式定义二维表，用行和行组存储数据信息，用列标明每个字段的名称、数据类型和长度，读入数据字节流后，根据每一列定义的比特长度将字节流分割成多个字段，再根据数据类型将分割好的字节流解析成相应的信息；通过读取行或者行组里的多个行获取数据或者集合信息，通过列的字段名称读取数据行的具体字段信息。本发明避免重复定义和编写解析过程；可以适用于大数据采集中对结构复杂多样的数据进行统一的解析。