一种基于nginx日志的数据分析方法
基本信息
| 申请号 | CN201611129374.9 | 申请日 | - |
| 公开（公告）号 | CN106777046A | 公开（公告）日 | 2017-05-31 |
| 申请公布号 | CN106777046A | 申请公布日 | 2017-05-31 |
| 分类号 | G06F17/30(2006.01)I | 分类 | 计算；推算；计数; |
| 发明人 | 杨波 | 申请（专利权）人 | 武汉卓尔云市集团有限公司 |
| 代理机构 | 北京轻创知识产权代理有限公司 | 代理人 | 武汉卓尔云市集团有限公司 |
| 地址 | 430000 湖北省武汉市黄陂区盘龙城汉口北大道88号汉口北电子商务大厦 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明涉及一种基于nginx日志的数据分析方法，适用于nginx日志，数据分析方法包括：S1：通过flume模块采集nginx服务器中的日志文件，并将日志文件转移并保存到HDFS系统中；S2：通过Hive数据库工具对HDFS系统中的数据进行mapreduce操作，将加工后的数据保存在中间表中；S3：将中间表中的数据迁移到MySQL数据库的结果表中。本发明的有益效果是：通过本技术方案可以实现通用化和更新服务不间断，对数据进行复杂维度分析。 |
