首页/ 北京亚融方成科技有限公司/ 专利详情

一种可配置数据清洗系统和方法

基本信息

申请号 CN201810677790.5 申请日 -
公开（公告）号 CN108984652A 公开（公告）日 2018-12-11
申请公布号 CN108984652A 申请公布日 2018-12-11
分类号 G06F17/30 分类 计算；推算；计数;
发明人 陈鹏林;郝东进;沈惟冉;王腾龙 申请（专利权）人 北京亚融方成科技有限公司
代理机构 北京国昊天诚知识产权代理有限公司 代理人 北京圣康汇金科技有限公司
地址 100081 北京市海淀区学院南路62号中关村资本大厦407室
法律状态 -

摘要

摘要 本申请公开了一种可配置数据清洗系统和方法，包括任务控制器、清洗工具、第一配置表、第二配置表、第三配置表。第一配置表包括任务编码和清洗工具。第二配置表包括任务编码、数据标识、源数据库、目标数据库和清洗规则标识。源数据库中包括源字段，目标数据库中包括目标字段。第三配置表包括数据标识、字段名称、源字段、目标字段和转换规则标识。任务控制器读取配置表，调用清洗工具。清洗工具根据任务编码对应的数据标识从源数据库中读取源数据、确定清洗规则、按照清洗规则筛选源数据。确定字段名称对应的转换规则标识，由源字段的数据转换为目标字段的数据，发送至目标数据库。所述系统和方法保证了数据清洗的连贯性，有效利用时间和资源。