首页/ 中国民生银行股份有限公司/ 专利详情

一种大数据统计方法和装置

基本信息

申请号 CN202110528336.5 申请日 -
公开（公告）号 CN113377829A 公开（公告）日 2021-09-10
申请公布号 CN113377829A 申请公布日 2021-09-10
分类号 G06F16/2458（2019.01）I;G06F16/2457（2019.01）I;G06F16/28（2019.01）I;G06F16/27（2019.01）I;G06F16/25（2019.01）I 分类 计算；推算；计数;
发明人 刘小林;何鹏 申请（专利权）人 中国民生银行股份有限公司
代理机构 北京润泽恒知识产权代理有限公司 代理人 莎日娜
地址 100031北京市西城区复兴门内大街2号
法律状态 -

摘要

摘要 本发明实施例提供了一种大数据统计方法和装置，所述方法包括：从分布式文件系统HDFS中获取数据集，然后根据预设的配置文件的分类信息，对数据集的数据进行分类，得到多个类型的数据子集，接着根据预设的配置文件的过滤信息，分别对多个类型的数据子集进行过滤，得到多个过滤后的数据子集，最后对多个过滤后的数据子集进行数据统计。本发明实施例通过预设的配置文件自动对大数据进行分类、过滤和统计，实现不同的业务需求，无需开发人员重复编写类似的代码，从而简化了开发流程，缩短了开发周期、提高了开发效率。