多源异构数据预处理方法、装置、计算机设备及存储介质
基本信息
申请号 | CN202111494889.X | 申请日 | - |
公开(公告)号 | CN114416865A | 公开(公告)日 | 2022-04-29 |
申请公布号 | CN114416865A | 申请公布日 | 2022-04-29 |
分类号 | G06F16/27(2019.01)I;G06F16/55(2019.01)I;G06F16/65(2019.01)I;G06F16/75(2019.01)I;G06F40/157(2020.01)I;G06N20/20(2019.01)I | 分类 | 计算;推算;计数; |
发明人 | 袁煜明;宋子龙;温志龙 | 申请(专利权)人 | 海南火链科技有限公司 |
代理机构 | 北京中强智尚知识产权代理有限公司 | 代理人 | 王妍 |
地址 | 571924海南省澄迈县老城镇高新技术产业示范区海南生态软件园沃克公园8830 | ||
法律状态 | - |
摘要
摘要 | 本发明公开了一种多源异构数据预处理方法、装置、计算机设备及存储介质,该方法基于区块链和词向量对多源异构数据进行预处理,包括:基于数据类别对多源异构数据进行分组;获取所述多源异构数据对应的文字信息;获取与所述文字信息对应的字向量,形成字向量集合;融合所述字向量集合为一维向量;根据所述一维向量进行联邦学习共建模型。该方案能够解决包含语音数据、图像数据、视频数据等多种类型的数据难以融合分析的问题,进而能够实现根据融合分析后的数据进行建模训练。并且通过对数据根据重要度进行打分得到分数,并将分数和与分数对应的数据存储位置上传至区块链,能够保障重要数据的可信溯源,保障政务数据的安全不可篡改。 |
