云灾备和容器、超融合、云计算、边缘计算和区块链有啥关系？
共 5071字，需浏览 11分钟
·
2021-03-04 01:33
灾备技术并不是孤立的，作为一种在数据中心发生故障或灾难时被触发的技术，涉及备份、复制、镜像、虚拟化、开源架构、超融合等多种不同技术，系统建设复杂程度高，好的灾备技术方案在综合其他技术可以实现用户的“故障无感知”的效果。
本文内容参考“中国灾备行业白皮书”，原文下载：中国灾备行业白皮书(多版本)
文章来源：云灾备和容器、超融合、云计算、边缘计算和区块链有啥关系？
灾备与SDS
软件定义存储可以实现存储资源的抽象化、池化及自动化，同时，软件定义与开源软件合，从而推动创新。以开源的软件定义存储Ceph为例，因为Ceph采用强一致性同步模型，即必须所 有副本都完成写操作才算一次写入成功。而如果副本在异地的话，由于网络延迟的存在，那么整个 集群的写性能就会比较差，也就无法有效支撑异地复制，较早的ZoneGroup和联合集群概念也并没有很好地解决这个问题。
于是从2015年开始启动的新功能—RBD Mirror进入了大家的视线，用以解决两个集群间异步备份的问题。
RBDMirror原理其实和MySQL的主从同步原理非常类似，简单地说就是利用日进行回放
(replay)：通过在存储系统中增加Mirror组件，采用异步复制的方式，实现异地备份。
在说Mirror之前，我们需要首先了解一下Ceph的journal机制。这里说明一下，此处的journal是指CephRBD的journal，而不是OSD的journal。当RBDJournal功能打开后，所有的数据更新请求会先写入RBDJournal，然后后台线程再把数据从Journal区域刷新到对应的image区域。RBDjournal提供了比较完整的日志记录、读取、变更通知以及日志回收和空间释放等功能，可以认为是一个分布式的日志系统。
CephRBDmirror数据异步备份有具体步骤，如下：
1）I/O会写入主集群的ImageJournal；
2）Journal写入成功后，RBD再把数据写入主集群回复响应；
3）备份集群的mirror进程发现主集群的Journal有更新后，从主集群的Journal读取数据，写入备份集群；
4）备份集群写入成功后，会更新主集群Journal中的元数据，表示该I/O的Journal已经同步完成；
5）主集群会定期检查，删除已经写入备份集群的Journal数据。
这种方式的优点括：
1）当副本在异地的情况下，减少了单个集群不同节点间的数据写入延时；
2）减少本地集群或异地集群由于意外断电导致的数据丢失。
目前社区的RBDmirror正在不断完中，相信未来随Ceph的不断发展，在异地数据备份领域上的应用也将为更为成熟。此外，数据备份仅仅是灾备的一部分，一个完的灾备系统还需要有数据恢复和高可用等方，这是SDS所欠缺的。因此，SDS如果想要更好地实现灾备功能，还 需要在数据库、虚拟化等层与灾备软件共同配合使用。
灾备与容器
开源已经成为目前IT领域最重要的一个趋势，不管是大热的以Docker为代表的容器技术，还是对标AWS的OpenStack，都为目前的灾备行业的发展提供了借鉴意义。尤其是OpenStack在云平台搭建中的逐步深入，正在逐成为云计算基础架构的实施标准，在生产环境的部署比例达到46%，而使用通用开源平台建设的云计算基础架构，便于在双活数据中心的异构设备上灵活切换，并在互联网、证券、电信、行、制造、医疗、能源等多个行业中得到使用。
让灾备建设与运维更加简单、系统开放可兼容及利旧，以及让灾备资源能够以服务的方式自动完成分配和发放，成为当前灾备建设的新趋势和诉求。与此同时，IT正在迎来以云计算为核心的第三次变革，基于OpenStack的云数据中心正在以其开放和融合的特性吸引更多企业客户积极投入实践。
在容器技术方，作为Docker灾备高可用的实践，英方已经完成对OpenVZ等容器技术高可用的完美支持，并随业务的进一步实践，将与容器领域的企业一道推动容器在业务上的具体应用。
灾备与超融合
2015年初，超融合的概念开始在国内兴起，百度的新闻搜索量刚过2000，比于虚拟化、云计算、大数据等概念来说，超融合显然还没有形成自己的气候。超融合基础架构（Hyper-Converged Infrastructure，简称HCI）也被称为超融合架构，是指在同一套单元设备中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术，而且还括缓存加速、重复数据删除、在线数据压缩、备份软件、快照技术等元素，而多节点可以通过网络聚合起来，实现模块化的无缝横向扩展(scale-out) ，形成统一的资源池。
超融合的实际案例大部分还是在虚拟化环境下的用户群体里，由于扩展环境的诸多限制，超融合架构在升级灵活性和性能可预测性上会存在一些缺陷。尽管虚拟化已经无可争议地提升了服务器整合效率、增加了工作负载配置与迁移的灵活性，但由于是在更少的服务器上承载更多的工作负载，所以在硬件出现故障时也可能意味大规模的运行中断。对于那些虚拟化为主的超融合架构，可能缺乏HA的支持，因此同样有可能存在单点故障。因此，在超融合的“融合”体系中，灾备将是重要的一环，对于任何IT团队来说，都不应该选择没有任何备份的生产系统。
灾备与云计算
云计算作为一种按使用量付费的模式，可以提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源括网络、服务器、存储、应用软件、SaaS服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。
自从云计算和大数据出现后，云平台被越来越多的企业所接受和使用，因为云平台的灵活性，灾备也衍生了新的概念——云灾备
云计算的使用，可以大幅度减少用户的IT资源与人力成本的投入，同时获得更加弹性和强大的计算能力，对快速拓展业务非常便捷。近些年，云计算的价格在大幅度下降，导致用户上云成为趋势。但是作为一种不可自主掌控的IT资源，用户业务数据上云的安全存在诸多隐患，例如网络攻击。
根据某国内大型云计算供应商提供的数据，其每天均会遭受大量的安全攻击——每天防御过2亿次的密码暴力破解；每天抵御2000万次的Web入侵防御；每天抵御1000次以上的DDoS攻击。同时，云计算内部的安全机制也当重要，2017年6月10日，荷兰海牙的一家云主机商Verelox“所有客户”的数据，被前任管理员全删了，并且擦除了大多数服务器上的内容，客户数据恢复希望渺茫。
因此，云灾备正在成为一种云上安全的重要措施。在没有任何的系统是百分之百安全的情况下，永远不要将所有数据放在一个“篮子”里，云备份与恢复、云端业务迁移、云端高可用这些在用户数据中心机房的灾备场景，在云端同样适用。
但是云计算的数据中心机房由于分布在各地，所以云端的数据复制与容灾高可用比本地的数据中心容灾要求，在用户庞大数据量传输需求下对带宽及距离有诸多的限制。因此，对灾备技术发 展趋势的要求是能够满足不同云计算平台、长距离、大数据量的数据复制、传输和业务从本地到云端、云端到云端的快速接管的需求。
边缘计算和云灾备
边缘计算的产生背景之一，是当本地存在海量数据处理需求的时候，由于本地网络边缘到云数据中心网络带宽、延时的限制，无法通过远端的云计算能力对本地的海量数据进行实时处理。
如果本地的存量和增量数据巨大，云灾备也会因为网络带宽的限制影响数据灾备至云端的实效性。借助边缘计算，可以将海量数据灾备至周边任一物联网终端。同时，通过数据的分块技术，对源端数据在本地进行切分，切分后的数据块在本地完成加密再传输至不同的“边缘”，保证了数据灾备至“边缘”的安全性。
伴随数据的计算和存储技术的演进，灾备技术也在随之发展。灾备端从本地机房到异地机房，再到云端，未来有可能又回到本地周边的“边缘”，回归的是数据灾备的存储介质，升的是我们对数据和业务保护的态度和要求。
灾备与区块链
区块链(Blockchain)是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。其中，共识机制是区块链系统中实现不同节点之间建立信任、获取权益的数学算法。
狭义来讲，区块链是一种按照时间顺序将数据区块以顺序连的方式组合成的一种链式数据结构，并以密码学方式保证的不可篡改和不可伪造的分布式账本。
广义来讲，区块链技术是利用块链式数据构来验证与存储数据、利用分布式节点共识算法来生成和更新数据、利用密码学的方式保证数据传输和访问的安全、利用由自动化脚本代码组成的智 能合约来编程和操作数据的一种全新的分布式基础架构与计算方式。
2018年，区块链技术势头正盛，从各种虚拟币到各类区块链应用都非常火爆。其中，区块链的特点与备份的需求点，也是非常匹配的。
首先，讲一下备份的几个基本需求点：
1）数据安全性，数据如果存储在公有云，加密是一个非常重要的要求，因为企业要严防数据泄露等问题的发生；
2）数据审计性，传统备份方式存在被黑客攻击或内部人员篡改数据的可能，而且可以事后消除操作日，一旦造成损失为后期审计追踪带来困难；
3）数据多副本需求，在条件允许的情况下，数据分散到不同的地方存储，可大幅降低数据丢失的风险，两地三中心就是这种需求的具体实践。
其次，就是区块链的特点：
1）加密：区块链的首要特点就是加密，基于区块链的存储应用，也是如此，这保证了数据在存储端不会被查和泄露，只有拥有了密钥，才能进行查；
2）无法篡改：这一特性，保证了记录的真实性和有效性（同时目前这一特性也广受金融领域的喜爱，金融领域在投入大量资源去发展和利用）；
3）去中心化：去中心化不仅是“账本”记录的去中心化，利用区块链技术所实现的存储也可以去中心化。
区块链存储的典型代表是Storj和Sia。区块链存储的典型特点：
1）廉价：平均而言，Sia的分散式云存储比现有云存储提供商的成本低90％。如果单纯从 存储价格上计算，在Sia上存储1TB文件的成本大约为每月2美元，而某公有云上的价格为23美元；
2）分散式：数据存放在不同的设备中，极大避免了单一设备损坏导致的备份数据丢失。
目前，国内计划接入区块链的备份类公司不多，不过也有机构手研究，并述了区块链与备份的整合方案，大概的方案步骤如下：
1）源端设定备份目录；
2）加密发送文件数据，并且把文件名、大小、权限、目录、MD5值提交给计算节点；
3）计算节点进行记录，并且分块分配给不同的存储节点；
4）存储节点接收文件，并存储；
5）在需要恢复时，向计算节点发送请求，计算节点依据记录，获取à合并à解密数据，最终实现了数据恢复。
由于数据分块存储在全球各个地方，所以增加了副本数量，提升了备份的可靠性，同时由于区块链无法篡改，所以提高了可审计性和一致性。而且，因为是加密的，所以避免了数据泄露的风险。
原文下载：中国灾备行业白皮书(多版本)
推荐阅读：
转载申明：转载本号文章请注明作者和来源，本号发布文章若存在版权等问题，请留言联系处理，谢谢。
推荐阅读
更多架构相关技术知识总结请参考“架构师技术全联盟书店”相关电子书(35本技术资料打包汇总详情可通过“阅读原文”获取)。
全店内容持续更新，现下单“架构师技术全店打包汇总(全)”，后续可享全店内容更新“免费”赠阅，价格仅收188元(原总价290元)。
温馨提示：
扫描二维码关注公众号，点击阅读原文链接获取“架构师技术全店资料打包汇总(全)”电子书资料详情。
