一种基于深度学习的非结构化数据处理方法

基本信息

申请号 CN201710044292.2 申请日 -
公开(公告)号 CN106844636A 公开(公告)日 2017-06-13
申请公布号 CN106844636A 申请公布日 2017-06-13
分类号 G06F17/30(2006.01)I 分类 计算;推算;计数;
发明人 沙云飞;李晨放;赵雪晴;王天然;郝闻众;丁浣;郑培晨;宋力 申请(专利权)人 常州倍源无限数据科技有限公司
代理机构 - 代理人 -
地址 213000 江苏省常州市武进区常武中路18—50号常州科教城创研港5—106
法律状态 -

摘要

摘要 本发明公开了一种基于深度学习的非结构化数据处理方法,属于大数据处理技术领域,该基于深度学习的非结构化数据处理方法,包括:1)非结构化数据的存储,基于Hadoop的大数据框架,解决非结构化数据的存储、管理、访问;2)非结构化数据的预处理,利用大数据平台的ETL能力,完成数据预处理(清洗、转换、挖掘、搜索);3)非结构化数据的结构化处理,采用时空分割、特征提取、对象识别等处理手段,实现非结构化数据向信息、情报的转化;4)非结构化数据的处理能力提升,利用深度学习算法来替代手工获取特征分析。本发明可以实现海量非结构化数据的存储,支持非结构化数据的批量、实时处理,增强非结构化数据处理的效率、准确性和合理性。