基于Spark的节点相似度计算方法、装置及终端
基本信息
| 申请号 | CN201810811936.0 | 申请日 | - |
| 公开（公告）号 | CN110751161A | 公开（公告）日 | 2020-02-04 |
| 申请公布号 | CN110751161A | 申请公布日 | 2020-02-04 |
| 分类号 | G06K9/62 | 分类 | 计算；推算；计数; |
| 发明人 | 魏红亮 | 申请（专利权）人 | 优视科技（中国）有限公司 |
| 代理机构 | 北京同立钧成知识产权代理有限公司 | 代理人 | 杨泽;刘芳 |
| 地址 | 510000 广东省广州市天河区黄埔大道西平云路163号广电平云广场B塔13层自编01单元 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明实施例提供一种基于Spark的节点相似度计算方法、装置及终端，方法包括：获取待处理的二部图中的节点数据，对节点数据进行序列化处理；根据处理后的节点数据生成概率转移矩阵和相似度矩阵；对概率转移矩阵和相似度矩阵进行多级自适应分片迭代处理，获得中间结果矩阵；将中间结果矩阵与预先设置的衰减系数做乘积运算，获得最终结果矩阵；根据最终结果矩阵获得节点之间的相似度。本发明提供的技术方案，具体为一种基于Spark的大规模矩阵乘法算法，能够对数据进行多级自适应分片，并可以将Simrank计算公式过程拆分为两部分，降低了计算规模和中间数据存储规模；从而能够高效地计算亿级别节点之间的相似度。 |
