海量数据处理方法及其系统

基本信息

申请号 CN201711009275.1 申请日 -
公开(公告)号 CN107861723A 公开(公告)日 2018-03-30
申请公布号 CN107861723A 申请公布日 2018-03-30
分类号 G06F8/41;G06F8/61 分类 计算;推算;计数;
发明人 官辉;顾正;范长春 申请(专利权)人 深圳市华成峰科技有限公司
代理机构 深圳市精英专利事务所 代理人 深圳市华成峰科技有限公司
地址 518000 广东省深圳市南山区高新南七道16号德维森大厦五楼
法律状态 -

摘要

摘要 本发明涉及海量数据处理方法及其系统,该方法包括配置Protocol Buffer运行环境;获取海量数据,构建Protocol Buffer消息对象的模型;将模型应用至具体平台,获取海量数据处理结果。本发明通过设置Protocol Buffer,形成对需要存储的数据进行处理,转换为与应用平台对应的代码文件,植入平台的项目内,进行序列化处理,形成海量数据处理结果,编译过程利用cli对象以及后端代码生成器实现快速完成数据格式的转换,序列化过程采用位移的方式节约消息本身的大小,位移运算过程简单,实现高效处理海量数据,文件格式简单,文件小,无需使用大量代码解析,服务器端与客户端的代码易于维护且兼容性好。