一种大数据环境下的数据处理方法
基本信息
| 申请号 | CN201510036120.1 | 申请日 | - |
| 公开（公告）号 | CN104573064B | 公开（公告）日 | 2017-12-08 |
| 申请公布号 | CN104573064B | 申请公布日 | 2017-12-08 |
| 分类号 | G06F17/30(2006.01)I | 分类 | 计算；推算；计数; |
| 发明人 | 谢叔阳 | 申请（专利权）人 | 四川携恩空服科技有限公司 |
| 代理机构 | 北京天奇智新知识产权代理有限公司 | 代理人 | 四川中科腾信科技有限公司;四川傲飞空服科技有限公司 |
| 地址 | 610041 四川省成都市高新区天府大道中段1号1栋209单元1层6号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提供了一种大数据环境下的数据处理方法，该方法包括：根据文件的操作粒度，将文件分为文件块、物理文件和逻辑文件，并分别定义文件块元数据、物理文件元数据和逻辑文件元数据；将新旧两个版本的文件元数据在服务器端进行比较，通过存储层中文件块对相同数据进行冗余去重，从而在客户端与服务器端执行新旧版本数据的差异化传输。本发明实现了大数据环境下的数据同步，减轻了服务器端计算压力，提高了传输效率和资源利用率。 |
