作者:
李洪奇， 朱丽萍， 孙国玉， 等
关键词:
分布式存储；小文件；海量数据；Protobuf；并发性
摘要:
针对当前大数据环境下急速增长的小文件的保存和管理问题,提出一种基于分布式海量小文件存储系统的设计和实现方案。采用IO复用和异步调用技术开发分布式系统,保证良好的并发性能和扩展性,使用Redis系统提高元数据存储和检索效率,采用Google Protobuf设计一套消息传递和分发机制,通过块存储方案提高大量小文件在单机存储系统上的IO效率并降低磁盘碎片化。实验结果表明,该系统在并发性、吞吐率测试上都有良好表现,是一个较为稳定高效的海量小文件分布式存储系统。
在线下载