海量数据处理方法及其系统
基本信息
申请号 | CN201711009275.1 | 申请日 | - |
公开(公告)号 | CN107861723A | 公开(公告)日 | 2018-03-30 |
申请公布号 | CN107861723A | 申请公布日 | 2018-03-30 |
分类号 | G06F8/41;G06F8/61 | 分类 | 计算;推算;计数; |
发明人 | 官辉;顾正;范长春 | 申请(专利权)人 | 深圳市华成峰科技有限公司 |
代理机构 | 深圳市精英专利事务所 | 代理人 | 深圳市华成峰科技有限公司 |
地址 | 518000 广东省深圳市南山区高新南七道16号德维森大厦五楼 | ||
法律状态 | - |
摘要
摘要 | 本发明涉及海量数据处理方法及其系统,该方法包括配置Protocol Buffer运行环境;获取海量数据,构建Protocol Buffer消息对象的模型;将模型应用至具体平台,获取海量数据处理结果。本发明通过设置Protocol Buffer,形成对需要存储的数据进行处理,转换为与应用平台对应的代码文件,植入平台的项目内,进行序列化处理,形成海量数据处理结果,编译过程利用cli对象以及后端代码生成器实现快速完成数据格式的转换,序列化过程采用位移的方式节约消息本身的大小,位移运算过程简单,实现高效处理海量数据,文件格式简单,文件小,无需使用大量代码解析,服务器端与客户端的代码易于维护且兼容性好。 |
