业界大咖对话:预见2021年数据存储最新9大趋势
共 17858字,需浏览 36分钟
·
2021-04-30 17:59
前 言
这一年,时间过得特别快,不知不觉2021年马上过了四个月了。
当数据成为企业资产,成为企业的生命线后,对于数据存储的关注成为业界的焦点之一。
这里,全球存储观察邀请了业界多位大咖,分别就2021年数据存储行业领域的新趋势,进行预见性的解读。
希望可以带给大家更多的参考与帮助,也欢迎业界朋友多多关注与指正。
▽
▽
▽
新趋势关键词:HCI
超融合深入百行百业
成为企业数字化创新的重要组成
超融合架构出现之前,业界谈论比较多的是融合系统,融合系统将存储、计算、网络硬件与管理软件系统堆栈在一个机柜或半个机柜,实现一体化交付,因为出厂之前这些软硬件配置已经完好,只需用户自行转载应用即可,便于用户对于小规模部署的便捷性。
然而,融合系统解决的只是用户便捷部署的痛点,没有搞定计算、存储、网络等核心资源融合统一兼顾弹性扩展的问题。
超融合架构(Hyper Converged Infrastructure,HCI)软件厂商后来大行其道,借助生态合作方式推进超融合软件与x86服务器厂商的OEM合作,一方面协助x86服务器厂商,在满足用户便捷部署、弹性扩展、更高灵活性、简化统一运维的超融合需求下,促进了x86服务器的销售,自然Dell、HPE、浪潮电子、联想、思科、华为、超微电脑Super Micro Computer、H3C、富士通和甲骨文等服务器厂商为此纷纷叫好;
二方面超融合系统部署推进下,让企业用户对于应用灵活的分布式支撑与性能更完美的实现上尝到了甜头,自然肯定超融合的好使之广泛进入行业,针对VDI、服务器虚拟化、私有云等应用场景上找到了真正的立足之地。
从根本上来说,超融合源自软件对硬件的定义,即软件定义大趋势下的创新,也是分布式架构优势的集中体现之一。因此,多年的发展积累,让超融合不仅找到了满足企业数字化转型过程中的刚性需求,同时也找到了如何发展壮大的路线。从超融合领域的整体发展而言,软硬兼施必然有助于超融合的进一步普及,同时专注超融合软件创新的技术公司也可以从中获得更广阔的发展前景。
作为超融合领域与Nutanix直接PK的厂商,VMware最大优势在于vSAN与VMware其他产品如vRealize Suite和vRealize Automation有着紧密集成,只是在虚拟机上仅支持VMware vSphere hypervisor(ESXi)。VMware对于混合云策略的号召力比较强,建立了系列混合云伙伴和方案,覆盖核心IT、云、VDI和Edge边缘用例。
当然,VMware vSAN的强大能力也被融入到了Dell EMC的超融合基础设施。Dell EMC与VMware共同研发,用心嵌入VMware虚拟化与vSAN的技术基因,创新推出了VxRail。Dell EMC依托全球影响力的强势推进,不仅让VxRail不断更新升级,同时在全球市场上大卖,从中也将VMware的vSAN能力充分彰显了出来。
戴尔科技集团全球CTO John Roese
戴尔科技集团全球CTO John Roese分析指出,以量子计算、半导体、5G和边缘计算为主的技术趋势,将改变数字化转型的格局。其中,作为构建混合云中重要的一部分,边缘端的计算、存储等处理方式,需要支持混合IT、工作负载和数据流,并建立跨不同架构的边缘平台。
戴尔可以提供多尺寸、小尺寸的1U或2U等高性能计算平台,聚焦异构计算环境处理,包括XC系列、PowerEdge服务器,特别是VxRail超融合架构得以更大的价值发挥。
由此而言,Dell EMC基于超融合基础架构VxRail,携手生态合作伙伴,全面覆盖IT、云、VDI和Edge边缘,融入企业数字化转型的更多应用场景。
特别值得一提的是,VCF on VxRail作为戴尔科技云平台的核心构建块,戴尔科技云平台的多项升级,自然和VxRail有着密切的联系。在越来越多的企业通过云原生、微服务的方式开发新应用的背景下,作为戴尔科技云平台的核心构建块,戴尔科技不断优化VCF on VxRail。
比如VCF 4.0和VxRail 7.0高度集成,可以更好地实现从VxRail硬件到VCF 4.0软件的全自动化安装、配置、升级,极大降低IT架构的运维难度,同时更快速地支持云原生应用的开发和维护。其VCF 4.0 on VxRail 7.0现代化超融合平台与VMware Tanzu在基础架构层面上实现了容器管理和虚拟化管理同步,从而在一个统一平台上逐步实现应用现代化和新应用持续交付,带给企业用户更好的云原生体验,助力业务创新赋能。
不仅如此,其他超融合厂商也不断发展各自生态,拓展多个行业领域。目前来看,银行、证券、能源、教育、交通等等几乎每一个行业都可以看到超融合成功部署应用的许多案例,超融合也从小规模部署逐渐推行到了大规模,超千节点的成功部署让超融合再次证明了深入百行百业的价值所在。从前期推进针对用户在VDI、服务器虚拟化、数据库等方面的超融合部署,到现如今业界将超融合作为了重要的基础设施之一,让企业本地化部署的私有云方式得以更好、更快、更新、更全面的实现。
2021年超融合领域将会因私有云的进一步繁荣而获得长足发展,进而成为企业数字化创新的重要组成部分。
新趋势关键词:信创存储
信创存储百花齐放
为新基建构筑安全之基
信创产业,已经成为一个比较独立的行业,也被众多科技公司,包括服务器厂商、数据存储厂商、云厂商、集成商所关注。
信创产业蓬勃发展,必然为新基建的推进提供了更为完善的基石,作为信息化应用创新的大方向,这是聚合了芯片、服务器、存储等硬件,以及操作系统、中间件、数据库等软件的数字新基建。
“十四五”规划提出要构建新型基础设施标准体系,加强科技创新,打造数字经济新优势。其中信创存储从数据存储的核心出发,可以为新基建构建安全发展的数据存储保障。
然而,信创存储其实已经起步了多年,只是因为信创产业发展提到更高的层面才逐渐被大家更为关注。
当初数据存储国产化,已经聚合了一大批立足数据存储核心技术发展的技术厂商,如早期发展起来的华为存储、浪潮存储、曙光存储、宏杉科技、UIT、海康威视等,又如后来创新发展起来的XSKY、大道云行、杉岩数据等。他们从不同的优势出发,为国产存储产业的发展奠定了很好的基础。
这些立足国产化存储发展的积累,为信创存储带来了直接的支撑。
基于飞腾平台、海光平台、鲲鹏平台等CPU的自主国产存储产品在不断创新中,早在2017年,宏杉科技就推出了基于飞腾平台的自主国产存储产品,可见对于信创存储的发力在数据存储行业要比其他行业更早一些,毕竟数据早已成为企业的资产,谁不重视数据迟早会吃大亏,谁更重视数据价值谁就必然可以在未来的竞争中赢得更多的席位。
目前来看,对于信创存储的发展而言,更为重要的聚焦需要实现端到端的可控。即从硬件平台可控到软件平台可控再到OS、数据库、云等生态的可控。因此,信创存储产业的发展不是某一个厂商的努力就可以了,而是需要携手并进,共筑信创技术生态。
在信创生态构建方面,宏杉科技与国产主流操作系统、云平台、数据库等厂商完成了测试和互认证。针对前端的国产操作系统厂商如中标麒麟、银河麒麟、统信UOS、中科方德、凝思等,针对国产虚拟化平台厂商如浪潮、新华三、方物等,针对国产云平台如腾讯云、EasyStack、阿里云、麒麟云、金山云、浪潮云、紫光云、科大讯飞云等,针对国产数据库厂商如达梦、人大金仓、南大通用等,信创全栈生态的合作,一方面可以更流畅更完美地支撑用户无缝对接前端应用,另一方面可以有助于提升宏杉科技自身信创存储的应用能力。
宏杉科技市场部副总裁 郑雪峰
不过,构建信创存储的强大能力前提,更在于宏杉科技在企业级数据存储领域长期的技术坚持和产品创新。为此也拥有了MS7000G2-HG系列和MS3000G2-FT系列两条重要的产品线。在宏杉科技市场部副总裁郑雪峰看来,信创存储的发展根本,需要基于自身对于数据存储技术的整体掌控能力和开放生态的构建能力。
当然,对于信创存储产品的发展,最终要看用户测试与落地。目前定位于中端存储市场面向中型数据中心应用场景的MS3000G2-FT系列,已有近千台在网运行。新近推出的MS7000G2-HG系列也在金融、政府等行业得到了应用。在与金融领域某客户的合作中,MS7000G2-HG系列也得到了切实的支持,并以科研项目的形式,双方推进信创存储产品的研发和落地,最终提前4个月通过测试,并且在用户的真实业务场景中得到应用。
由此而言,随着信创存储生态的成熟,将进一步促进信创存储在多个行业拓展方面的深耕。这也是多个重要行业的高端用户,对于信创整体产业关注度不断升级带来的效果。
在信创存储这条发展路线上,竞争力强的数据存储供应商,必然是那些起步比较早、实践应用积累丰富的先行者。当然,这里也有基于开源平台发展的后来者,他们也为信创存储百花齐放的发展,贡献了应有的创新力量。
新趋势关键词:数据保护
数据保护与云不离不弃
云中护航渐成行业主旋律
在“十四五”规划中,“数据要素”出现了4次,可见对于数据方面的重视,已经提升到了国家政策层面。
数据安全不仅作为国家、社会发展面临的重要议题,成为规划中重要部署的关键领域。为此,对于数字中国的发展来说,数据安全不再是一个独立产业,而是全面融入经济社会发展的各领域。未来,如何做好“数据安全建设”,将会关系到百行百业在数字化时代的创新发展。
随着云计算技术应用的行业深入,企业全面上云时代也已开启,随之而来的数据保护与安全已经成为诸多行业数字化发展的战略考虑重点。
数据保护与安全本就不是一个新趋势,从数据备份与数据容灾的发展来看,在企业级行业领域已经深入了多年,这也是数据存储业界中国内外厂商发展的根本。
即便是老生常谈的领域,但从企业级用户私有环境到云环境,数据保护与安全的意义更大了。由此我们也看到国内外出台或正在拟出台与数据保护相关的法律法规,如欧盟已经颁布实施的GDPR、现尚在制订中的中国《个人信息保护法》等。这些法律法规的出台和拟定,对于企业用户、个人用户的数据保护有了更具体的合规法律要求,从而对于云环境的数据保护也就有了更具体的目的。
针对行业性的数据保护与安全方面,中国从2017年6月1日起施行的《网络安全法》规定的等级保护标准1.0,已经在2019年底开始升级为等级保护标准2.0。等保2.0的实施,对百行百业的企业用户业务数据有了更为详细全面的保护措施。
然而,来自互联网企业、公有云厂商、数据中心服务商时有发生各种意外事件,危及到相关企业用户的数据。比如新近发生的欧洲—最大的云储存与主机供应商OVH Cloud公司,设在法国斯特拉斯堡的数据中心(Datacenter)发生大火,该数据中心的相关用户数据遭遇了严重的波及,新闻报道据说其中一家游戏公司的大量玩家数据已经因火灾丢失。
就此而言,数据保护与云之间的关系,将会因数据的重要性越发紧密。任何一个忽视数据保护的云服务商,恐怕很难在未来的竞争中获得稳定的发展。
作为在数据备份与容灾领域十年耕耘的数字资产护航者,精容数安也紧跟时代步伐,聚焦数据保护与云的发展,由备份容灾领域转向全面数据管理与运营领域,并为此推出RunStor Data Management Suites数据管理产品套件(RunStor DMS)。
精容数安CEO 康乐
精容数安CEO 康乐分析指出,面向云及大数据的发展大趋势,数据保护软件也需要基于分布式及云原生的技术架构,并在数据保护和管理策略中融入人工智能的能力,满足不同目标用户群体的弹性需求。
RunStor DMS有着分布式及云原生的技术架构的创新,同时继承精容数安数据备份、数据复制产品的优质功能基因,并结合成熟的永久增量、合成备份、快照及克隆技术实现灵活副本数据管理(CDM)功能,实现了AI化的数据保护和管理策略。
为了更好释放数据价值,RunStor DMS在原来提供数据备份容灾的能力的基础上,同时也集成了产品的数据管理能力,将备份的“冷数据”转化为随时可用的“热数据”,为用户带来了更高的备份系统价值和数据利用率。
针对企业用户高可用设计要求方面,通过负载均衡的模式部署系统关键组件,RunStor DMS消除组件的单点故障,极大提升了产品的可用性。
在扩展性与效率方面,采用微服务架构设计后,RunStor DMS系统组件之间非常容易实现弹性扩容,支持通过介质服务器的在线横向扩展,为海量级的数据及系统提供备份容灾与管理服务,随着介质服务器的增加,整个系统处理数据的能力也随之线性增加。
RunStor DMS支持源端、目标端压缩与重删功能,压缩重删效能最大能达90%以上,更重要的是启用压缩与重删功能并不会影响系统整体的备份性能。
与此同时,RunStor DMS具有任务并发、介质并发能力,支持永久增量及合成备份模式,减少备份的数据量,提高备份效率。此外,RunStor DMS除提供保护虚拟化和云的功能之外,原生支持将数据备份至多个云平台的对象存储,为数据提供海量的保护空间。云端对象存储特别适合海量的长期离线保存。同时提供API与各云平台进行集成,实现单点登录及自助式数据管理服务。
为此,作为数字资产护航者,精容数安面向云厂商开放合作,目前已经与紫光云、天翼云、UCloud、青云、七牛云、华为云等公有云厂商,以及ZStack、EasyStack、H3CloudOS、华云、XSKY、D2IQ、zCloud等私有云有着深入的数据资产保护合作。
比如,精容数安与新华三联合推出混合云时代数据保护方案,RunStor Backup与H3CloudOS实现了深度集成,使用H3C云操作系统的用户可直接通过云平台界面管控RunStor Backup的所有备份操作,无需登录其他界面。不仅可实现对H3C平台自身云主机/虚拟机的备份与恢复,还对用户环境中其他云主机/虚拟机、操作系统、数据库、邮件、文件等重要数据,提供了同样强大的备份恢复功能。由此真正实现了在混合云场景下全面的数据安全保护能力,让用户切实拥有云时代的便捷和安全。
RunStor DMS支持复杂及异构的数据灾备及管理场景,除传统的备份容灾应用场景外,在CDM副本数据管理、运营商云备份和轻量级云备份等多种应用场景中,也进一步加强并丰富了数据保护的整体能力。
2021年,百行百业都在不断推进行业数据保护与安全的举措,随着新基建的深入,AI、5G、物联网、大数据、区块链等新兴技术基于云的融合也在深入,数据保护与云安全之间的关系将会变得更为紧密。
针对百行百业的数据呈现出前所未有的丰富、多样性,对数据保护本身的发展也带来了更多的要求和挑战。
从中可以看到,只有通过数据保护整体部署与考虑,才能实现云上云下的数据全生命周期的保护。不仅要为数据存储设备保驾护航,而且还要为云中环境提供数据备份、数据存档、数据容灾和网络恢复等各种规模解决之道,并进一步提升云中数据保护的敏捷性、高性能、高安全性。
新趋势关键词:全闪存
全闪存加速
激发数据存储整体市场的创新与发展
当初全闪存出现之时,就有业界朋友预见说全闪存必将改变整个数据存储市场格局。果不其然,随着全闪存领域的创新发展加速,全闪存不仅融入到了中端、中低端存储系统领域,同时高端存储与全闪存的融合也得到了进一步的发展。2020年全闪存储在中国市场占比超20%、在全球占比约为40%。
与此同时,全闪存还渗透到了数据存储领域的方方面面,包括分布式存储、数据保护系统、NAS等。
由此而言,所有与数据存储相关的厂商,都相继推出了全闪存相关产品与解决方案。
全闪存之所以深入到了数据存储的所有类型、所有产品阵营里面,这与企业用户对数据存储的性能需求日益提升分不开。归纳起来不外乎,借助全闪存提升相关应用的数据存储性能,而在性能方面的绝对优势表现,也成为全闪存自出现以来一步步走向辉煌的重要原因之一。
随着混合多云趋势的愈发明显,全闪存自然也与时俱进。一方面,全闪存借助NVMe SSD技术及其好搭档NVMeOF来加速存储,构建企业用户所需的高性能存储解决方案。
另一方面,全闪存需要更好地支撑混合多云环境的用户需求,在满足高性能的同时,还需要对存储管理的简单方便、存储容量、数据安全以及高可用性等方面做足工作。
也就是说,对于全闪存而言,不仅仅要满足银行、证券、能源等行业应用中关键业务负载的性能,而且需要进一步提升全闪存的整体企业级能力,对用户在边缘端、数据中心和云端的每一个环节都要实现更加高效的支持。
浪潮存储产品总经理 李辉
浪潮存储产品总经理李辉分析指出,对于全闪存储的发展,业内都非常关注,然而存储厂商要从中获得真正的发展,需要从几个方面去努力。
一是,积极拥抱NVMe SSD、SCM新兴存储介质和硬件,以极简创新存储架构满足用户对极致性能的不懈追求。值得一提的是通过存储性能的大幅提升,在SPC-1测试中以752万、330万、37万IOPS包揽了16控、8控、单位成本性能3块“金牌”;此外,浪潮新一代高端全闪存储性能已经达到2300万IOPS。
二是,积极参与金融、通信等行业领域的全闪存储标准制定,助力新存储技术创新与发展。
三是,积极携手生态厂商的同时,也发力自研侧的闪存新硬件创新。浪潮不仅是全球首批、中国首家采用英特尔傲腾技术(Optance)的全闪存储厂商之一,而且浪潮自研的企业级NVMe SSD也已经商用,成功应用到浪潮存储多款产品。
四是,积极为全闪存注入智能化元素,推动全闪存储系统带给用户更好的体验和效果。
为此,浪潮全闪存储基于iTurbo2.0智能引擎的技术优势,在智能感知、智能多路径、冷热分流、自组织和自适应技术方面获得出色的表现。也基于浪潮存储InView统一智能管理平台,对故障、容量、性能进行智能预测,使得数据中心智能运维更加自动化和智能化。
针对5G、AI、物联网、大数据等新兴应用场景,针对新数据时代下用户数据存储性能与管理的结合上,从用户实际需求角度出发,实现全闪存储在数据存储领域更有效的价值。
随着数字新基建如火如荼地进行,全闪拉动整体存储市场发展,其中在银行、证券、能源等行业领域,高端全闪迎来了新的机会。
一方面,高端存储用户对于全闪存系统企业级功能的丰富与完善得以前所未有的肯定,这源自数据存储厂商对高端全闪在功能、可靠性和易用性上都进行了大量的优化和革新设计。
另一方面,高端全闪存在极致性能的表现上,带来采用全新NVMe架构,轻松应对高并发应用,IOPS节节高升的同时,其时延已经一降再降。这是所有高端用户都喜闻乐见的结果。
更为关键的在于,高端全闪存带来了快速流畅的存储服务,更利于满足金融、通信、能源、医疗等行业领域高端用户的需求。此外,高端全闪存也顺应云计算行业发展,实现了智能云分层的对接,支持如AWS、Azure、浪潮云、阿里云等公有云。
高可靠、高性能、高安全、高可用这四高的要求,已经让全闪存逐渐掌控了数据存储更大的格局。智能运维、多云对接的能力,更让全闪存看到了更广阔的发展空间。
从近年来全闪存储的市场规模发展来看,全闪存储已经成为推动数据存储行业持续发展的重要动力之一。随着全闪存储性能不断抬升,企业级功能持续丰富,智能化水平进一步提升,对接混合多云更为灵活与原生。那么,2021年全闪存储加速,必然也会实现数据存储行业更大发展与更多创新,其中高端全闪在中国市场的发展值得长期关注。
新趋势关键词:EB级
EB级大数据存储时代
智能化提升数据价值
数据爆发增长的趋势不可阻挡,源自5G、物联网、人工智能、云计算等新兴技术应用交付影响下,全球数据总量早已迈入ZB级时代,这些新兴技术得以兴旺发展的根基自然离不开数据存储的高效率。
但是对于企业用户而言,因业务类型不同应用不同,因而诞生了对数据存储有着TB级需求、PB级需求的情况居多。然而,对于有着多样化应用的垂直行业用户而言,其数据总量已达到并超过EB级。
大量海量的数据包括了实时数据、边缘数据、终端数据等类型,同时其中以图片、视频、语音等非结构化数据居多。对此,任何一个用户都希望自身的数据存储系统可以满足其业务创新发展与数据不断攀升的需要,得以实现对数据更为高效的存储、管理和价值洞察。
数据已成为企业的资产,当用户整体数据总量迈入EB级时代后,大数据存储时代下,对于提升数据价值的诉求,将成为行业的大趋势。
一方面,传统企业级存储在不断对接云平台场景的同时,分布式新存储带来更高效的弹性存储方式,让企业用户的数据存储随着业务需求发展而灵活扩容。同时兼有闪存存储高性能的配置与设计,这对于有着EB级存储发展趋势的用户而言,将是更直接的高效选择。
二方面,有了高效数据存储的前提下,企业用户需要应对私有数据中心数据存储与公有云环境数据存储的拉通问题,云上云下的数据流动,成为众多企业级存储厂商和公有云厂商考虑的重要领域之一。因而企业用户要求数据存储的管理效率需要不断提升,不断满足稳态业务和敏态业务的共同需要。
三方面,高效存储与管理的本质都是为数据洞察提供坚强的后盾。然而对于不同应用场景下,不同阶段下对数据存储性能、容量都有着不同的需求。这就需要利用人工智能、服务于人工智能,赋能大数据价值挖掘。比如针对数据采集、清洗、训练、推理、归档等不同过程,匹配更为高效、灵活、智能的统一存储系统。
杉岩数据创始人兼CEO 陈坚
进一步分析大数据存储发展演进的趋势来看,目前已经进入到了大数据存储的3.0时代。杉岩数据创始人兼CEO陈坚分析指出,大数据存储从海量数据“存得下”的1.0时代,到融合存储“管得好”的2.0时代,再到智能存储“用得爽”的3.0时代。大数据存储的演进也是数据驱动下的数据存储创新过程,大数据存储3.0时代强调的智能,聚焦基于数据感知的智能数据预处理能力、智能调度能力,基于应用感知的数据访问加速能力,以及数据存储系统自身的智能运维和管理能力。
对于海量的数据处理而言,数据检索的漫长等待时间也给大数据存储带来了麻烦。为此,杉岩数据为用户的非结构化数据打上各种标签,从而大大降低检索时间,方便系统的集中查询和调用。
大数据存储之前的数据标签化,杉岩数据自带基于自定义标签的检索功能,提供灵活的标签管理方式和优异的标签检索性能。对于用户来说该功能可以根据需求灵活调整,即使数据量达到百亿级,存储仍能够提供秒级检索能力,保障数据的快速访问。对于银行、医院、交通等行业领域的视频、图片、语音等非结构化数据,杉岩数据不仅对数据做智能化的标签处理,实现海量数据归档,以及快速文件检索。同时采用智能数据处理引擎,简化业务流程,提升处理效率,并借助优化AI算法加速模型训练,构建机器学习场景方案。
比如在杉岩数据轨道监控视频云解决方案构建上,支持EB级容量、百亿级文件规模的视频云平台,能够满足高清晰、低延时的大规模监控需求,通过开放的S3协议支持视频存储、回播、转发功能,通过智能数据处理引擎支持视频检索、关联分析、大数据管理等功能,低成本实现视频云平台的可扩展性、稳定性和开放性。从运营的角度来说,不仅提升了轨道交通的管理效率,而且也大大降低了管理难度和故障率。
可见,大数据存储智能时代更为强调对于数据价值的洞察以及在数据价值洞察之前的数据检索与存储。由此而言,在百行百业的数字化转型与升级之路上,必然存在多种多样的业务应用场景,比如轨道交通、金融影像、医疗影像、视频监控、智能制造等领域对大数据智能存储有着明显的刚需,必然需要发挥出基于数据感知、应用感知的数据存储智能化能力,智能分析挖掘数据价值。
由此而言,2021年,针对轨道交通、医院医疗、智能制造、石油勘探、工程计算、生命科学领域和金融大数据分析等行业场景,大数据存储必然也会面向EB级存储时代下的企业用户,更为聚焦智能存储的大数据价值提升。
新趋势关键词:IPFS
开疆辟土
IPFS成为数据存储新蓝海
在IDC Data Age 2025报告中阐述,2019-2025年将是数据爆发性增长的阶段,到2025年全球数据总量将达到175ZB,数据分析增加、物联网普及、云迁移活动等等行业是数据增长的主要推动力。
不过,在这样一个数据总量预测中,有一个新兴领域的数据增量已经呈现出相当大的规模,并具备巨大的增量潜力。继比特币、以太币之后,文件币也已成为区块链3.0时代具有全球共识的主流代币。随着Filecoin主网正式上线,Filecoin的热度一路攀升,以数据存储为核心价值、计算能力为表现力的商业新范式正在快速形成。
在2021年3月的消息显示,Filecoin的全球矿工为Filecoin网络贡献了超过3EB的分布式存储容量。
1EB=1024PB,1PB=1024TB,1TB=1024GB,1GB=1024MB。假若做个类比,1GB大概相当于一部1080高清电影的大小,那么1EB就相当于10亿多部高清电影的存储容量,大家可想而知。
为此,IPFS的发展引发了业内广泛的兴趣和讨论。
与此同时,文件币背后的IPFS协议也受到越来越多的关注。面对区块链发展的广阔前景,IPFS分布式存储搭建了透明、高效且成本低的存储方案,将成为未来区块链项目的主流数据存储基础。
以IPFS为代表的Web 3.0实现了去中心化的分布式存储,释放了互联网的生产力。
当前,IPFS(分布式储存协议)热度在全球范围内持续高涨。作为点对点的分布式版本文件系统,IPFS正在补充乃至取代目前统治互联网的超文本传输协议(HTTP),以更加合理的配置资源大幅降低互联网的使用成本。
希捷科技全球副总裁暨中国区总裁 孙丹
为此,希捷科技全球副总裁暨中国区总裁孙丹分析指出,IPFS技术构建的分布式存储网络将解决大数据的存储问题,在更多领域将得到更加广泛的落地应用。
为此,希捷科技希望通过针对Filecoin存储数据封装的Precommit1切片装箱、Precommit2生成文件信息表、Commit1贴标签、Commit2零知识证明(P1、P2、C1、C2)四个阶段的解耦合,实现单独横向按需扩展,提升硬件利用率,降低供应链压力,加快交付节奏。否则在押金的压迫下,将难以达到收益和支出的平衡点以上。为此,希捷科技通过JBOD、RBOD+超大容量HDD助力IPFS分布式存储需求的用户来抢占先机。
一是,通过JBOD结合大容量HDD,来提升存储密度,提升空间利用率,降低功耗,降低存储节点单位TB造价。
例如使用2台1U服务器组成HA集群对应2台4U106 JBOD,6U空间存储容量可达212 HDD。对比使用4U36存储服务器,6U密度仅54HDD,存储密度提升4倍。
二是,采用RBOD的形态快速构建中等规模集群的参考架构,对比JBOD,RBOD可以降低用户在存储高可用机制上的开发投入,通过自带的纠删码芯片实现N+2的存储冗余度,数据重建更高效智能,避免了数据因为HDD故障爆发导致数据掉线,或触发惩罚机制。
三是,主张采用大容量HDD,如希捷7E8企业级硬盘、希捷银河X16大容量硬盘,进一步降低存储TCO。希捷银河16TB硬盘在近几年已成为构建高效存储集群的基石,具备重量轻、功耗低、配置丰富的特点。希捷更大容量的银河Exos 18TB、20TB企业级硬盘已经成功交付,为不断增长的存储需求而打造,可助力区块链行业有效应对数据量呈指数增长所带来的挑战。
希捷存储系统还可与希捷硬盘相配合,实现高效的故障恢复与预测,帮助客户最大限度降低运维成本。
四是,使用希捷Cortx智能对象存储软件,构建超大规模存储集群。希捷Cortx对象存储软件完全免费开源,具有智能化、可靠性高、性价比高的特点,且Cortx包括GUI在内全栈开源并与硬件松耦合,既可以结合希捷自研硬件进一步提升可靠性,也可以使用通用硬件满足不同场景需求。更可以利用希捷在超大容量硬盘、还有最新多磁臂硬盘技术,轻松将存储集群从容量和性能角度提升到一个全新的阶段。
针对IPFS分布式存储的需求,希捷提供了读写并重,兼具大容量和稳定性的数据存储解决方案,凭借成本、性能、容量和安全等方面的优势,契合了IPFS服务器对大容量、稳定性、适配性等方面的需求。
希捷高密度存储系统,可有效容纳Filecoin挖矿产生的海量数据。随着业务增长,区块链厂商还可以在此基础上高效扩容,持续降低单位容量运行成本。尤其是高密度的希捷存储系统可以帮助IPFS厂商节省机架空间乃至节省多台机柜,优化成本,最大化IPFS用户的投资价值。
不仅如此,除了希捷科技在IPFS领域有所专注和作为之外,业界合作伙伴如浪潮、曙光、XSKY、杉岩数据、星际联盟、捷递网络、宝德等生态链的上下游软硬件厂商,也围绕IPFS应用共同开辟存储新赛道,与希捷共同驱动数据存储行业在2021年呈现出更多的发展机会。
新趋势关键词:SSD
NVMe SSD持续发酵
带来数据中心企业级用户更大创新
NVMe SSD分为消费类和企业级类,这里主要讨论企业级方面,消费类方面的NVMe SSD普及速度通常情况下比企业级领域要迅速。一方面个人消费电脑之类的应用,相对于企业级用户复杂的应用而言对可靠性、安全性、稳定性要求要低一些;另一方面NVMe SSD在企业级领域的广泛应用,任何一个新品都要经过若干测试与应用检测,最终才能走入产品化市场,因此这个流程比较复杂也比较长。
这些年来,随着新数据场景下对固态硬盘的性能与容量需求出现新的变化,从边缘端到数据中心端再到云端,NVMe SSD的应用普及速度比我们想象的都还要快。
SSD从SATA SSD和SAS SSD到NVMe SSD,一路走来,企业级领域用户的选择更为多元。从从SATA、SAS转向NVMe过程中,也让用户的存储系统架构实现了更多创新可能性。特别是在闪存系统的助力方面,NVMe SSD可以为DAS、SAN和NAS存储系统带来性能提升,当然更值得一提的是,基于NVMe SSD推出的分布式存储系统近年来也备受业界瞩目。
作为PCIe接口的最佳CP,NVMe更能优秀表现的协议标准,当初由美光、戴尔、英特尔、NetAPP、三星、Marvell等90多家公司共同组成的工作团队所定制,NVMe SSD低时延、高性能、低功耗的好处,对于数据中心和企业级用户而言备受欢迎。
从NVMe SSD的接口分类而言,NVMe SSD的U.2接口产品早已适应了互联网数据中心用户的需求,对每GB成本的考虑更多,也让U.2接口的NVMe SSD得到了非消费类场景的应用实践。但是,更大影响力的还是NVMe SSD的PCIe接口产品,获得了企业级用户领域非常广泛的认同,为银行、证券、能源等多个重要行业领域的关键业务应用,如人工智能加速、在线交易型数据库加速、实时数据分析加速等方面带来了非常明显的性能提升。
作为NVMe技术标准发起成员之一,英特尔对于NVMe SSD的产品与创新路线依然非常坚定。
一方面,全新差异化制造战略IDM 2.0出台,英特尔试图实现更灵活、现代化的芯片制造创新。面对全球“缺芯荒”的情况,英特尔也对外放出消息,将投资200亿美元,新建两座芯片工厂。
英特尔CEO 帕特·基辛格(Pat Gelsinger)
另一方面,作为一家拥有从软件、芯片和平台、封装到大规模制造制程技术,兼具深度和广度的科技公司,英特尔CEO帕特·基辛格(Pat Gelsinger)强调指出,致力于成为全球用户信赖的下一代创新合作伙伴,英特尔已经确定好了下一步发展方向,开创技术创新和产品领先的新时代。
为此,英特尔在傲腾和3D NAND两条存储芯片技术路线上齐头并进,不断推陈出新。
2021年推出的全新第三代英特尔至强可扩展平台产品组合,其中包括了英特尔傲腾持久内存200系列、英特尔傲腾固态盘P5800X和英特尔D5-P5316 NAND固态盘,以及英特尔以太网800系列适配器和全新的英特尔Agilex FPGA。
对于业内朋友而言,应该比较熟悉介于内存以及存储之间的新介质,英特尔傲腾技术已经为硬盘缓存体系提供了新方案。单根傲腾200系列持久化内存产品将提供512G容量,提供高于内存的容量,却比内存更低的价格,又比硬盘更快的速度。其应用优势自然显现。
与此同时,比如英特尔傲腾固态盘P5800X,采用U.2接口,以及NVMe SSD的PCIe协议,定位数据中心SSD,也继续在企业用户领域深入应用与推进。
此外,针对个人消费端的SSD方面,基于144层QLC 3D NAND技术的英特尔固态盘670p,采用M.2接口和NVMe SSD的PCIe协议,每裸片容量为128GB,最高达到2TB容量。同时读取性能、时延都得以进一步优化,实现了性能、成本和功耗的全新平衡。
当前来看,NVMe SSD的出货量继续在迅速增长,从中可以发现,NVMe SSD带来的不仅仅是存储系统的创新改变,更关键的是为企业用户数字化转型过程中遭遇的新数据应用场景加速带来了性能加持,这将持续推动数据存储行业带来更大的创新。
新趋势关键词:SDS
更高速发展下的SDS
呈现出下一代创新突破优势
这些年来,软件定义存储(SDS)发展异常迅猛。立足中国市场而言,SDS在企业级存储整体市场中的占比越来越高,甚至有分析机构预测数据显示到2023年全球SDS市场规模将超过800亿美元,暂且不去细究这个数据,但也从中表明SDS市场规模未来有望超过传统企业级存储。
SDS被众多分析机构看好,这主要源自两个方面的作用。
一方面,用户数据在变,受到大数据、AI、云计算、物联网、5G、区块链等新兴技术因素的影响,用户数据存储需要更大的灵活性,在很大程度上加速了软件定义存储的发展。
二方面,技术创新公司、老牌企业级存储厂商、云厂商纷纷聚焦SDS,以各种不同的优势,或聚焦文件存储、或聚焦对象存储、或块存储,提供并不断完善多样化的SDS方案,满足并影响着用户数字化转型与升级过程中的存储需求。
在数据存储领域,软件定义带来了更为开放、灵活、敏捷、弹性。在中国的数据中心或云数据中心相关用户领域,对于SDS的大规模采购成为2020年的热点。如运营商的SDS相关采购,浮现出来了备受业界供应商眼前一亮的大单。
从SDS供应商的特点出发,全球市场上有纯软件SDS供应商,也有软硬一体化的SDS供应商,不过在中国市场上用户对SDS软硬一体化的供应商青睐有加。因而有纯软件SDS供应商不得不采取OEM方式,实现自身SDS软件的销售。这样也带来了SDS系统销售的不断增长。
当然,这也与政府、通信、金融、交通、制造等行业因5G、大数据、人工智能、工业互联网等带来数据新变化新增长有很大关系。就中国SDS整体市场而言,2020年SDS整体市场规模已经超过了100亿元,占到企业级存储市场规模接近3成。
这也源自软件定义存储三大优势特点:
一是,实现基础资源线性扩展,计算和容量都支持Scale-out横向扩展,存储集群容量和性能可以随着扩容线性增长。
二是,实现软硬件解耦,可以使用通用服务器作为存储服务器,解除专有硬件绑定,用户避免了品牌锁定。
三是,实现按需部署与资源池化,分布式架构决定了存储系统可以按照资源池化管理,系统可以根据实际的容量性能需求进行部署,同时伴随需求的变化进行快速的部署扩展。
SDS从技术路线来看,开源成为当仁不让的主流,而Ceph又是其中的绝对热门。无论是开源版本还是基于Ceph的商业化版本,在中国市场都得到了较多应用,尤其是与OpenStack成为了“最佳CP”。
然而,当前企业应用要求更高性能表现,如何让整个软件栈更为简化敏捷,如何更好借助NVMe SSD、SCM等新存储硬件发挥出高IOPS、低时延的效果,如何发挥出更高性能表现的RDMA网络优势,在一系列问题与挑战下,早先的软件定义存储需要获得进一步创新,下一代SDS也便呼之欲出。
目前来看,从传统存储到软件定义存储1.0,再到下一代SDS (SDS2.0),让业界已经看到云的体验和技术能力正加速落地到企业,从而对SDS的软件能力有着更强的要求。
例如阿里云pangu2.0同期推出的第二代存储引擎,也正基于下一代SDS特征设计思想完成了产品的整体迭代。
ExponTech CTO 曹羽中
ExponTech(华瑞指数云科技)CTO曹羽中分析指出,在继承了上一代软件定义存储优势的同时,SDS 2.0将基于数据驱动的思路,以数据和应用为中心,从边缘、数据中心到云实现统一的数据存储,管理和价值发现,同时提供可组合式架构、适配分布式云环境、拥抱云原生模式、充分发挥新硬件优势和融合数据管理等方面的综合能力。
因为需要满足大数据、AI、物联网等更多创新业务带来的数据存储和数据管理需求,适应云原生、混合多云、新硬件等IT基础架构层面的新变化,SDS 2.0必然需要做出更多的创新进步,成为云原生时代的数据存储“变革者”。
其一,迫切需要设计新一代分布式存储引擎,在TCO成本可控的前提下,时延,性能、可靠性、自动化运维等达到数量级飞跃。例如,在性能输出上可提供微秒级延迟以及百万甚至千万级的IOPS能力。
其二,具备面向高IOPS、低时延的新一代存储介质的扩展能力,能够与硬件技术革新保持同频。比如支持包括SCM、NVMe SSD等介质创新,具备有适应新硬件的创新支持能力,发挥出新硬件的红利。
其三,支持跨越从边缘到本地数据到多公有云的数据自由流动,全面拥抱云原生,真正实现数据“生于云上,长于云上”。
其四,实现可组合式架构,从数据感知,IO感知的角度组合整合分布式云环境(私有云、多个公有云,边缘)中的资源,满足不同IO模型,不同性能和可靠性要求,支持许多种协议接口的自由组合及灵活部署使用,实现对全业务场景的覆盖。
其五,具有更全面的数据视角,通盘考量南向数据存储和北向数据服务。提供越跨越数据中心,多朵公有云及边缘的统一元数据管理能力,丰富的数据调度能力,数据管理变得更加简单易行,彻底解决数据孤岛以及数据管理和数据价值利用的挑战。
为此,作为软件定义存储时代的创新力量,ExponTech(华瑞指数云科技)将下一代SDS (SDS 2.0) 作为统一的、坚实的存储和数据底座,实现与混合多云架构的计算面的完善匹配,加之以统一的元数据服务作为数据调度大脑中枢,向上提供原生的数据管理、数据服务能力,满足大数据、AI、云计算、物联网、5G、区块链等新兴技术兴起下的海量数据“汇存管用”的需求,并通过组合式叠加服务组件的方式向数据湖、湖仓一体平台、混合多云数据平台(Hybrid and Multi-Cloud Data Platform)无缝演进,帮助用户在数字化、智能化时代建设以数据为中心的基础设施。
2021年,SDS在全球和中国市场都将保持前所未有的发展增长态势。特别是受到更大范围的云计算应用落地的影响下,私有云、混合云对于企业用户业务发展带来的安全、可靠与性能上的满足,同时对于云原生支持上,SDS有着天然的灵活性。容器存储编排引擎虽然对云原生有着先天优势,但是结合软件定义存储解决方案的容器存储在实际应用中更有竞争优势。这都将进一步刺激SDS更契合云行业趋势的节奏,从而呈现出更快的增长速度,突破传统企业级存储市场“温水煮青蛙”的“稳态”趋势,加速展现出下一代SDS的更多特征。
新趋势关键词:混合云
与混合云相得益彰
混合云存储大趋势不可阻挡
针对混合云存储的分析,需要从两条路线来展开,一个是来自企业级存储厂商拓展到云端的混合云存储产品;一个是来自公有云厂商奋发图强兼顾企业级用户本地私有云与公有云构建的混合云存储。
全球存储观察创始人 阿明
全球存储观察创始人阿明分析认为,针对企业级存储厂商而言,虽然前面提及了文件和对象存储涉及到混合云场景,但是立足点有所不同的是,针对混合云存储而构建的存储产品,企业级存储厂商一方面要与公有云厂商竞争,同时也在与公有云厂商携手合作。
公有云厂商一方面树立自身在混合云存储领域的影响力,这源自公有云厂商自身对于混合云战略的倚重,毕竟要拓展企业级行业领域,必须要凭借混合云的方式来力证更多的企业用户对云的认同。
因而,可以武断一点说,混合云存储其实就是公有云厂商发展企业用户存储上云、数据上云的桥梁与纽带,最终目的还是实现企业全栈上云。
混合云分为公有云与私有云的混合、私有云与私有云的混合等,然而融合了公有云和私有云形式的混合云近年来更为被业界所关注。这主要在于企业上云成为大趋势,企业本地数据中心不能放弃,新业务上云成为主流,因而公有云与私有云的混合模式成为首选。
目前来看,出于安全考虑,更多企业更愿意将数据存放在私有云中,基于自身服务客户的弹性、多租户的需求对于新业务上公有云也是常有的选择。
混合云下的数据存储方式成为了大家探讨的重点,必然应用上云的根本就是数据上云。就此而言公有云厂商推出的有着与自身公有云系统的原生的一体机,或者说是融合系统,成为一个云领域的小亮点。当然,让公有云厂商去玩企业级硬件厂商的事情必然不可能出现绝对的销量规模,也只是为了满足混合云用户上公有云更为方便的需求,当然也同时实现用户数据落到本地的刚需。
不管是公有云厂商还是企业级存储厂商,对于混合云存储的理解思路是一致的,都为用户混合场景下的数据存储一致性提供更为优质的方案与产品服务。不过最终的目的有所不同,公有云厂商推进混合云存储的终极目的还是希望企业用户将数据搬到公有云上;企业级存储厂商的终极目的依然希望企业用户的数据分类治理,强调数据落到本地的价值从而保障存储阵列系统可以有着长期持续的市场力。
最终受益的还是用户,毕竟方案丰富了,混合云存储产品完善了,可以根据自身应用与业务需求为之选择的也就多了。
2021年随着混合云发展趋势的加快,混合云存储也就必然成为行业不可阻挡的大趋势,与混合云发展相得益彰。
后记:继往开来,更大期待
数据存储行业的发展从起步到发展再到成熟,经历了多年的风风雨雨。加上近年来公有云厂商也涉足针对企业级用户方面的数据存储产品、服务与方案,一时间,让全球数据存储市场活跃了起来。
即便当前企业级外部存储市场规模的增长整体疲软,但是有了新兴力量组团进入数据存储领域,对于传统企业级存储厂商来说,可谓是催化剂一样,打开了新的竞争局面。
为此,数据存储厂商进一步聚焦在了针对用户应用场景上的更具体、更细致、更到位的满足。以用户需求为中心,凭借数据存储整体技术创新的带动,聚焦应用的同时,自然离不开存储厂商在生态方面构建前所未有的体系。
从生态存储繁荣发展的思路来看,自然需要针对新数据时代的用户应用场景的变化来做更多具体文章。
为此,业内数据存储厂商也推出了适应用户灵活敏捷需求的软件定义存储产品、满足高性能低时延的NVMe全闪存系统、针对非结构化数据暴增的大数据存储、引入人工智能技术的智能存储、聚焦物联网边缘计算端的流式存储等等。当然,这些存储产品组合与相关解决方案,有基于传统集中式存储架构,也有基于分布式创新存储架构,这两条架构路线互相结合,全面适应用户数字化时代下多元应用的需要。针对人工智能、物联网、区块链、IPFS等新兴应用需要,为此定制更高效的存储系统继续成为2021年以及未来的数据存储发展方向。
由此而言,新数据、新经济、新存储、新未来,归根结底离不开用户业务发展的应用驱动,离不开相关应用领域ISV应用软件开发商与数据存储厂商之间的更紧密结合,全球存储观察分析认为,2021年应用驱动,生态使能,数字化升级,将持续加速数据存储进一步获得繁荣,迎来新的发展,带给数据存储行业更大的期待。