基于海量用户行为数据的高速计算分析方法
基本信息
申请号 | CN201410345089.5 | 申请日 | - |
公开(公告)号 | CN105302831A | 公开(公告)日 | 2016-02-03 |
申请公布号 | CN105302831A | 申请公布日 | 2016-02-03 |
分类号 | G06F17/30(2006.01)I | 分类 | 计算;推算;计数; |
发明人 | 李馥岑;孙鑫;张旭明 | 申请(专利权)人 | 上海星红安数据科技有限公司 |
代理机构 | - | 代理人 | - |
地址 | 200241 上海市闵行区东川路555号乙楼B2054 | ||
法律状态 | - |
摘要
摘要 | 本发明主要解决的是面对越来越灵活的双向新媒体业务,面对百万级,甚至千万级用户的海量行为数据,将采集到的用户行为数据进行HDFS分布式存储,经过ETL模块对数据进行提取、转换和加载之后,由符合传媒行业特点的优化组合算法模块,将海量的用户行为数据进行高效的数据预处理,形成一系列的中间结果数据,再通过不同的WEB应用程序调用相关的中间结果数据集,以实现对海量用户行为数据的高速分析运算,为运营商提供秒级的实时计算分析。 |
