多源异构数据预处理方法、装置、计算机设备及存储介质

基本信息

申请号 CN202111494889.X 申请日 -
公开(公告)号 CN114416865A 公开(公告)日 2022-04-29
申请公布号 CN114416865A 申请公布日 2022-04-29
分类号 G06F16/27(2019.01)I;G06F16/55(2019.01)I;G06F16/65(2019.01)I;G06F16/75(2019.01)I;G06F40/157(2020.01)I;G06N20/20(2019.01)I 分类 计算;推算;计数;
发明人 袁煜明;宋子龙;温志龙 申请(专利权)人 海南火链科技有限公司
代理机构 北京中强智尚知识产权代理有限公司 代理人 王妍
地址 571924海南省澄迈县老城镇高新技术产业示范区海南生态软件园沃克公园8830
法律状态 -

摘要

摘要 本发明公开了一种多源异构数据预处理方法、装置、计算机设备及存储介质,该方法基于区块链和词向量对多源异构数据进行预处理,包括:基于数据类别对多源异构数据进行分组;获取所述多源异构数据对应的文字信息;获取与所述文字信息对应的字向量,形成字向量集合;融合所述字向量集合为一维向量;根据所述一维向量进行联邦学习共建模型。该方案能够解决包含语音数据、图像数据、视频数据等多种类型的数据难以融合分析的问题,进而能够实现根据融合分析后的数据进行建模训练。并且通过对数据根据重要度进行打分得到分数,并将分数和与分数对应的数据存储位置上传至区块链,能够保障重要数据的可信溯源,保障政务数据的安全不可篡改。