基于Spark GraphX的社交网络分析系统及其实现方法

基本信息

申请号 CN201911297714.2 申请日 -
公开(公告)号 CN110727836A 公开(公告)日 2020-01-24
申请公布号 CN110727836A 申请公布日 2020-01-24
分类号 G06F16/901;G06F16/906;G06F16/182;G06Q50/00 分类 计算;推算;计数;
发明人 阎星娥;杨昆;严荣明;张林;袁勇斌;余祥慧;张明星;谢俊 申请(专利权)人 南京华飞数据技术有限公司
代理机构 南京品智知识产权代理事务所(普通合伙) 代理人 南京华飞数据技术有限公司
地址 210019 江苏省南京市建邺区嘉陵江东街18号国家广告产业园4栋12层
法律状态 -

摘要

摘要 本发明基于Spark GraphX的社交网络分析系统及其实现方法,尤其涉及一种基于Spark GraphX实现对指定数据进行社交网络关系图计算系统。模型,包括依次相连的数据存储模块、分析请求解析模块、图计算模块和图数据库存储模块。整个算法实现流程包括对输入数据以自定义的文件格式入库存储到Hdfs;客户端提交分析请求,服务端解析后提交到图计算模块;最终分析结果存储到图数据库。该算法适用于社交网络分析模型的开发;基于Spark GraphX通过复杂图计算,可以描绘出社交网络关系的部分特征,挖掘出指定特征的社团。解决了海量数据图计算的问题。