一种大数据加工方法及系统

基本信息

申请号 CN202010299719.5 申请日 -
公开(公告)号 CN111651507A 公开(公告)日 2020-09-11
申请公布号 CN111651507A 申请公布日 2020-09-11
分类号 G06F16/25(2019.01)I 分类 计算;推算;计数;
发明人 饶贵翔;陈忠;陈细平 申请(专利权)人 杭州半云科技有限公司
代理机构 北京工信联合知识产权代理有限公司 代理人 杭州半云科技有限公司
地址 310024浙江省杭州市西湖区转塘科技经济区块16号3幢296室
法律状态 -

摘要

摘要 本发明公开了一种大数据加工方法及系统,所述方法包括:根据应用需求,提取所需最终目标数据;根据预设规则创建数据汇聚流向模型,所述数据汇聚流向模型为以最终目标数据为中心按照最简加工原则逐层列出生成目标数据所需的来源数据、加工单元以及数据流向关系;整理合并相近的加工单元,确定加工类型,创建数据加工模型;将所述数据加工模型发布到对应的数据加工引擎,执行数据加工;所述方法可以有效简化大数据加工的难度,提高大数据加工计算效率,提高软件研发效率;有效提高数据加工单元的复用程度,降低软件研发成本;实现从原始数据到目标数据加工的全流程建模与运行,实现大数据加工全流程可见、可控、可管。