一种支持多主机分布式数据处理的批处理方法及系统
基本信息
申请号 | CN201210362479.4 | 申请日 | - |
公开(公告)号 | CN102929585B | 公开(公告)日 | 2016-01-13 |
申请公布号 | CN102929585B | 申请公布日 | 2016-01-13 |
分类号 | G06F9/38(2006.01)I;G06F9/46(2006.01)I | 分类 | 计算;推算;计数; |
发明人 | 陈即忆;武剑锋;王泊;黄俊杰;刘经纬;何希圣;黄寅飞;郑刚;陆素源;白硕 | 申请(专利权)人 | 上海证券交易所 |
代理机构 | 上海三方专利事务所 | 代理人 | 吴干权 |
地址 | 200120 上海市浦东新区上海市浦东南路528号 | ||
法律状态 | - |
摘要
摘要 | 本发明涉及信息数据处理技术领域,具体是一种支持多主机分布式数据处理的批处理方法及系统。批处理系统中设有批处理框架,批处理框架主要包括批处理引擎程序,批处理管理和监控程序,批处理流程控制文件以及批处理批步骤定义文件,其中,流程控制文件和批步骤定义文件为两个配置文件,当批处理引擎启动后,就会遍历流程控制文件,获得下一步需要处理批步骤代码,然后根据批处理代码,从批步骤定义文件获得需要执行的脚本信息,然后执行该脚本来完成该批步骤。本发明同现有技术相比,具有较大的突破和优势,解决了现有技术中的诸多不足和缺陷,本发明中的批处理系统是一套有高并发性、高可用性、高可扩展性的系统。 |
