一种基于云原生架构的大数据流处理方法和装置专利查询专利号|摘要-满商公司网

一种基于云原生架构的大数据流处理方法和装置

基本信息

申请号	CN202010734377.5	申请日	-
公开（公告）号	CN111880899A	公开（公告）日	2020-11-03
申请公布号	CN111880899A	申请公布日	2020-11-03
分类号	G06F9/455(2006.01)I	分类	计算；推算；计数;
发明人	商子豪;曲茂强;薛爱梅;张春涛;葛亮	申请（专利权）人	山东迪特智联信息科技有限责任公司
代理机构	济南竹森知识产权代理事务所（普通合伙）	代理人	吕利敏
地址	250000山东省济南市历下区浆水泉路16号卓越时代广场一号楼1109
法律状态	-

摘要

本发明的实施例公开了一种基于云原生架构的大数据流处理方法、装置、电子设备及存储介质，涉及大数据流处理技术领域，用于避免大数据流处理任务执行的资源占用及插件冲突，提高平台运行安全性和稳定性。所述方法包括：接收服务器发送的大数据流处理任务，该任务中包含所需的插件镜像信息、Git仓库地址信息、输入和输出信息；通知Docker Engine从镜像仓库拉取并运行相应的插件镜像，使插件开始运行；插件运行后访问Git仓库，获取任务上下文数据；插件从数据源获取数据并进行数据处理，处理完毕后将任务处理结果和日志信息记录到Git仓库中并更新任务上下文数据；通知服务器任务已执行完成，并通知Docker Engine销毁运行的插件实例，释放占用的资源。