PK体系下基于容器化技术构建和监控Hadoop集群与告警的方法

基本信息

申请号 CN202010978399.6 申请日 -
公开(公告)号 CN112084009A 公开(公告)日 2020-12-15
申请公布号 CN112084009A 申请公布日 2020-12-15
分类号 G06F9/455;G06F11/30 分类 计算;推算;计数;
发明人 高晓飞;杜变霞;曹科宁;聂芳华;张航 申请(专利权)人 湖南长城科技信息有限公司
代理机构 长沙市护航专利代理事务所(特殊普通合伙) 代理人 莫晓齐
地址 410000 湖南省长沙市高新区尖山路中电软件园19栋5楼
法律状态 -

摘要

摘要 本发明公开了PK体系下基于容器化技术构建和监控Hadoop集群与告警的方法,包括:S1,在基于PK体系的节点服务器上搭建k8s并部署应用的镜像仓库服务;S2,在k8s上部署Prometheus,包括创建Prometheus的自定义对象Alertmanager、PrometheusRule、Prometheus、PodMonitor和ServiceMonitor及其他Prometheus组件,并配置Grafana进行图形化界面显示;S3,在k8s上搭建Hadoop集群,包括部署Hadoop集群的HDFS集群和YARN集群;S4,在节点服务器上部署Hadoop_exporter并采集Hadoop集群的监控数据按照容器监控平台规定的格式提供数据接口,容器监控平台调用Hadoop_exporter数据接口获取采集的监控数据;S5,通过PrometheusRule对象创建告警规则,Alertmanager接收Prometheus的告警信息并通知用户。本发明整个部署可一键部署,快速简洁,满足数据分析人员、测试人员、运维人员在软件开发、应用和管理工作中的需求。