基于HDFS的电子文件集中存储及优化方法
基本信息
| 申请号 | CN201310331429.4 | 申请日 | - |
| 公开（公告）号 | CN103366016B | 公开（公告）日 | 2017-06-09 |
| 申请公布号 | CN103366016B | 申请公布日 | 2017-06-09 |
| 分类号 | G06F17/30(2006.01)I | 分类 | 计算；推算；计数; |
| 发明人 | 石进;张辰;潘健翔 | 申请（专利权）人 | 江苏南大苏富特科技股份有限公司 |
| 代理机构 | 南京瑞弘专利商标事务所（普通合伙） | 代理人 | 南京大学;江苏南大苏富特科技股份有限公司 |
| 地址 | 210093 江苏省南京市鼓楼区汉口路22号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种基于HDFS加入中间件优化电子文件集中存储的方法，通过使用存储缓存和读取缓存的策略来提高海量小文件的存储和访问效率，其中：存储缓存策略的设计方法为设置多个缓冲区，存储小文件时通过多个缓冲区的优化选择来提高缓冲区的利用率，从而减少HDFS访问次数；读取缓存策略的设计方法为使用buddy system的方式管理固定大小的整个读取缓存，并为每个分段缓存设置效率阈值，通过效率阈值来控制缓存的更新策略，最大限度提高缓存利用率，从而使访问文件时尽可能的利用读取缓存，减少访问HDFS的次数。 |
