基于Flink实时任务脏数据插件化管理的方法和系统专利查询专利号|摘要-满商公司网

基于Flink实时任务脏数据插件化管理的方法和系统

基本信息

申请号	CN202110771629.6	申请日	-
公开（公告）号	CN113407365A	公开（公告）日	2021-09-17
申请公布号	CN113407365A	申请公布日	2021-09-17
分类号	G06F9/54（2006.01）I;G06F16/215（2019.01）I	分类	计算；推算；计数;
发明人	温天柱	申请（专利权）人	杭州玳数科技有限公司
代理机构	常州佰业腾飞专利代理事务所（普通合伙）	代理人	陈红桥
地址	310030浙江省杭州市西湖区紫霞街176号杭州互联网创新创业园2号楼8F
法律状态	-

摘要

本发明提供了一种基于Flink实时任务脏数据插件化管理的方法和系统，其中方法包括：脏数据管理者获取脏数据配置信息，实例化脏数据管理者，实例化对应的脏数据插件对象；脏数据管理者收集任务产生的脏数据及异常原因，将脏数据及异常原因存入消息队列；脏数据管理者启动脏数据插件对象中的脏数据消费者；脏数据消费者轮训消费消息队列中的脏数据；如果脏数据消费者消费消息队列中的脏数据成功，脏数据管理者将脏数据消费计数值加1，直至脏数据消费计数值达到预设脏数据消费计数值，确定任务失败；如果脏数据消费者消费消息队列中的脏数据失败，脏数据管理者将失败数据计数值加1，直至失败数据计数值达到预设失败数据计数值，确定任务失败。