一种基于人工智能的NLP分析识别与数据清洗方法
基本信息
| 申请号 | CN202210071894.8 | 申请日 | - |
| 公开（公告）号 | CN114626346A | 公开（公告）日 | 2022-06-14 |
| 申请公布号 | CN114626346A | 申请公布日 | 2022-06-14 |
| 分类号 | G06F40/166（2020.01）I;G06F40/169（2020.01）I;G06F40/205（2020.01）I;G06F40/279（2020.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 荆斌华 | 申请（专利权）人 | 锦创科技股份有限公司 |
| 代理机构 | 北京集智东方知识产权代理有限公司 | 代理人 | - |
| 地址 | 210000江苏省南京市秦淮区太平南路211号九龙大厦6、11、12、13层 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明适用于数据清洗技术领域，提供了一种基于人工智能的NLP分析识别与数据清洗方法，通过NPL模块第一步唯一性检查，这样既可以去掉多余重复的数据，减轻数据处理的负担，方便后续的数据处理，又可以对重复的部分保留其权重的特点；第二步权威性检查，从而根据其权威性直接进行权重排序，方便直观的了解到重要的可信度高的数据；第三步合理性检查，这样可以对有问题的数据进行剔除，进行进一步的精选；第四步一致性检查，从而可以对数据进行分类，实现对数据的进一步精选，第五步完整性检查，从上述庞大数据中提取与缺损数据相关的内容进行补充完整，最后对主流的加权后排序的数据进行保留，其余的数据统一删除，实现快速的对数据清洗。 |
