一种检测HDFS小文件和数据倾斜的自动化测试方法及工具
基本信息
| 申请号 | CN202111122262.1 | 申请日 | - |
| 公开（公告）号 | CN114168527A | 公开（公告）日 | 2022-03-11 |
| 申请公布号 | CN114168527A | 申请公布日 | 2022-03-11 |
| 分类号 | G06F16/11（2019.01）I;G06F16/182（2019.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 陈灿;王一君;邱林;王光华 | 申请（专利权）人 | 杭州览众数据科技有限公司 |
| 代理机构 | 杭州君度专利代理事务所（特殊普通合伙） | 代理人 | 朱月芬 |
| 地址 | 310000浙江省杭州市滨江区西兴街道物联网街451号芯图大厦17层 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种检测HDFS小文件和数据倾斜的自动化测试方法及工具。本发明具体包括以下步骤：（1）首先，在PostgreSQL数据库创建用例表及测试结果表，用于后续存储测试用例和测试结果；（2）根据数据测试需求，在数据库表中配置测试用例；（3）读取并解析用例表中的测试用例数据；（4）执行代码类调用Shell脚本；（5）获取Shell脚本返回的结果，对比测试结果与期望结果的一致性；（6）将测试结果写表存储。本方法及工具亦可保存历史已配置好的用例，进行自动化回归测试，以及可运用在基于相同产品架构下的不同定制项目中，本数据测试方法及工具可极大提升测试工作效率。 |
