可自动识别与配置转换的数据处理方法
基本信息
| 申请号 | CN201910965045.5 | 申请日 | - |
| 公开（公告）号 | CN110704528A | 公开（公告）日 | 2020-01-17 |
| 申请公布号 | CN110704528A | 申请公布日 | 2020-01-17 |
| 分类号 | G06F16/25 | 分类 | 计算；推算；计数; |
| 发明人 | 马玉平;乐彬;周宁宁 | 申请（专利权）人 | 苏州数瞳科技有限公司 |
| 代理机构 | 苏州市中南伟业知识产权代理事务所（普通合伙） | 代理人 | 苏州易博创云网络科技有限公司;苏州数瞳科技有限公司 |
| 地址 | 215000 江苏省苏州市工业园区仁爱路199号B07号楼331单元 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种可自动识别与配置转换的数据处理方法。本发明一种可自动识别与配置转换的数据处理方法，包括：尝试通过可识别的缺陷自定义数据协议解决格式变化的问题，通过数据解析中间件将数据中的变化转换为可配置的JSON格式文件，将JSON格式文件作为ETL数据处理的输入；以此解决大数据ETL处理过程中源数据格式缺失或变化的引起的不可预测的故障。本发明的有益效果：本发明将基于传统ETL的数据转转工作流提升为基于数据转换协议可配置并自动解析识别的自动化数据转换过程。基于本发明在数据处理场景中可以根据源数据的变化情况任意配置。 |
