RDFS容错云存储系统
我们开发实现了新型的基于容错编码的分布文件系统Raid Distributed File System (RDFS)。创新的特色包括:高度可靠性、高可用性、低存储开销。
(1)并行编解码:显著提升了编码与解码的速率。已有的串行编码方式通常是系统的读写瓶颈。而实验显示并行优化后的编码方案不再成为系统的性能瓶颈。与串行编码相比,并行编码的加速比通常大于3。
(2)基于网络拓扑的树结构数据修复:达到低网络开销的目的。树结构重建降低了网络资源的利用率,与传统的星型修复技术相比,资源消耗降幅达20%~30%。修复速率提升了15%~20%。
(3)面向同时多数据修复的一对多修复方案:在多节点失效时有效修复数据。与逐个修复失效节点的星型结构相比,修复速率提升了30%。
(4)基于网络拓扑的线型数据修复:在部分块失效时的数据修复读取速率得到显著优化。与传统的星型修复相比,读取速率增加了50%~100%。
上述技术并不要求特别的编码方案,能够在大多数已有的编码方案下正常工作,因此具有较好的普遍适用性。
更多信息联系:xiaoqiangpei@nudt.edu.cn, xufangliang@nudt.edu.cn, wwyyjj1971@vip.sina.com, quanyongf@gmail.com
评论
SimianArmy云操作容错解决方案
SimianArmy让你的云操作保持最佳状态的工具。ChaosMonkey是伸缩性很强的工具,是SimianArmy的第一个成员,能帮助应用更好的容忍随机故障实例。SimianArmy是Netflix
SimianArmy云操作容错解决方案
0
disk42开源在线云存储系统
disk42是一个开源的在线云存储系统,通过文件同步和分享、文件加密功能。服务器端采用C开发。同时提供基于Qt开发的桌面客户端。该项目依赖Nginx、MariaDB以及部分依赖Seafile。
disk42开源在线云存储系统
0
kvskey-value存储系统
kvs是一个基于内存的key-value存储系统。kvs与memcahce的功能很相似,但是相对memcache来说更容易使用。kvs提供基于http的接口,用户可以通过浏览器直接get,setord
kvskey-value存储系统
0
RocksDBkey-value 存储系统
RocksDB是一个来自facebook的可嵌入式的支持持久化的key-value存储系统,也可作为C/S模式下的存储数据库,但主要目的还是嵌入式。RocksDB基于LevelDB构建。关于Rocks
RocksDBkey-value 存储系统
0
FilebaseKey-Object 存储系统
Filebase是一个基于文件系统的Key-Object存储系统。当前提供YAML,JSON,和gob编码,同时可进行编码扩展。适用于PHP5.6和PHP7+特征文件库在设计上很简单,但是具有足够的功
FilebaseKey-Object 存储系统
0