一种基于深度学习的非结构化数据处理方法
基本信息
申请号 | CN201710044292.2 | 申请日 | - |
公开(公告)号 | CN106844636A | 公开(公告)日 | 2017-06-13 |
申请公布号 | CN106844636A | 申请公布日 | 2017-06-13 |
分类号 | G06F17/30(2006.01)I | 分类 | 计算;推算;计数; |
发明人 | 沙云飞;李晨放;赵雪晴;王天然;郝闻众;丁浣;郑培晨;宋力 | 申请(专利权)人 | 常州倍源无限数据科技有限公司 |
代理机构 | - | 代理人 | - |
地址 | 213000 江苏省常州市武进区常武中路18—50号常州科教城创研港5—106 | ||
法律状态 | - |
摘要
摘要 | 本发明公开了一种基于深度学习的非结构化数据处理方法,属于大数据处理技术领域,该基于深度学习的非结构化数据处理方法,包括:1)非结构化数据的存储,基于Hadoop的大数据框架,解决非结构化数据的存储、管理、访问;2)非结构化数据的预处理,利用大数据平台的ETL能力,完成数据预处理(清洗、转换、挖掘、搜索);3)非结构化数据的结构化处理,采用时空分割、特征提取、对象识别等处理手段,实现非结构化数据向信息、情报的转化;4)非结构化数据的处理能力提升,利用深度学习算法来替代手工获取特征分析。本发明可以实现海量非结构化数据的存储,支持非结构化数据的批量、实时处理,增强非结构化数据处理的效率、准确性和合理性。 |
