一种基于分布式大数据计算平台的数据质检方法及系统
基本信息
| 申请号 | CN202111194653.4 | 申请日 | - |
| 公开（公告）号 | CN114004465A | 公开（公告）日 | 2022-02-01 |
| 申请公布号 | CN114004465A | 申请公布日 | 2022-02-01 |
| 分类号 | G06Q10/06（2012.01）I;G06Q10/10（2012.01）I;G06Q50/26（2012.01）I;G06F16/22（2019.01）I;G06F16/27（2019.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 左小龙 | 申请（专利权）人 | 数字郑州科技有限公司 |
| 代理机构 | 郑州睿信知识产权代理有限公司 | 代理人 | 吴敏 |
| 地址 | 450000河南省郑州市郑东新区中道东路6号创意岛大厦C区C-4-029房间 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明涉及一种基于分布式大数据计算平台的数据质检方法及系统，属于数据处理技术领域。本发明采用增量抽取方式获取当日新增或者重新上报的办件数据，并将获取的新增或者重新上报的办件数据与平台中存储的历史办件数据进行关联和合并，得到更新后的办件数据，对更新后的办件数据进行质检。整个过程不受上报时间和数据量的限制，能够多次上报和历史数据批量上报，当数据完全没有变更的情况会被过滤无需重新上报，减少上报压力，极大提高了质检的运行效率和计算能力，解决了目前向省级上报的办件数据合格率低、时效性差的问题。 |
