一种可简化编程的大数据自动化解析方法及系统
基本信息
| 申请号 | CN201610167763.4 | 申请日 | - |
| 公开（公告）号 | CN105843899B | 公开（公告）日 | 2017-07-18 |
| 申请公布号 | CN105843899B | 申请公布日 | 2017-07-18 |
| 分类号 | G06F17/30 | 分类 | 计算；推算；计数; |
| 发明人 | 尤海浪;唐勇;陈杰 | 申请（专利权）人 | 炫彩互动网络科技有限公司 |
| 代理机构 | 北京德崇智捷知识产权代理有限公司 | 代理人 | 炫彩互动网络科技有限公司 |
| 地址 | 210019 江苏省南京市建邺区嘉陵江东街18号4幢17层 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提出一种可简化编程的大数据自动化解析方法及系统。针对现有的大数据编程需要繁琐解析，导致存在数据解析易出错导致脏数据和解析效率低下等问题，提出了通过自动化解析格式化和非格式化数据的方式，将Hive表中每条数据转换成Java匿名类对象，并在系统中记录Hive表与匿名类字段的对应关系。匿名类根据@IField的成员变量的变量名称和Hive表字段名称进行匹配，对于匹配上的成员变量直接赋予对应的表字段值。在进行大数据处理保持数据灵活性的同时，提高了数据解析的速度和准确性。 |
