IPFS分布式存储市场持续爆发，西部数据创新存储架构如何助力？
共 4815字，需浏览 10分钟
·
2021-05-12 00:12
自去年以来IPFS分布式存储技术非常的热，业界普遍认为，IPFS将补充甚至会取代HTTP超文本传输协议，成为Web 3.0时代的基础协议。同时，IPFS还可以改变当下空耗硬盘资源的“挖矿”方式，能够让其变得更具社会价值。那么IPFS技术到底是有何不同之处呢？
什么是IPFS？有何优势？
IPFS（InterPlanetary File System，星际文件系统）是一个去中性化的分布式存储和共享文件的网络传输协议，它集合了PTP网络技术，BTcuabo传输技术，GIT版本控制，自证明文件系统等技术，而基于IPFS协议的各个节点则构成一个分布式网络，它自2014年开始由Protocol Labs在开源社区的帮助下发展，并于2015年5月正式上线。该网络中的参与者可以相互存储、索取和传输可验证的数据。
当用户将文件放到IPFS节点中时，将会得到基于其内容计算出的唯一哈希值地址，该哈希值将直接反映文件的内容，随后内容会被分割成非常多的小的片段进行分布式存储，每个片段都会对应一个哈希值，而这些哈希值将会按照数据排列，形成一个哈希值列表，当用户向IPFS网络请求一个文件哈希时，它会使用这个分布式哈希表找到文件所在的节点，取回文件并验证文件数据。
相对于目前统治互联网的基于域名寻址的HTTP超文本传输协议的中心化存储来说，IPFS是基于内容寻址的点对点的超媒体传输协议，用户不需要关心服务器位置在哪，也不用考虑文件存储的名字和路径，更不用从服务器下载完整的网页，再去找需要的内容，更加的简洁高效。
为了便于理解HTTP与IPFS的差异，星际大陆CMO兼联合创始人熊昌举例表示：“HTTP是域名寻址，IPFS则是内容寻址，比如要用HTTP的方式到我们公司找我，你需要先到园区门口问一下保安，然后保安告诉你我们在A6栋，你到A6栋按电梯上10楼，然后问公司前台，然后找到我的办公室才找到我，它就是有个这样的过程。IPFS的方式，就是你知道我电话，你直接打给我，你就知道我在哪，直接过去，它就是这样的简洁高效。”
而且，由于存储于IPFS的网络中的文件，是被分割成了非常多的小的块，并被加密分散存储于各个节点，不再依赖于中心化存储所需的存储服务器及主干网，可以降低因不可抗力（比如各种自然灾害或人为事故造成的服务器或传输线路故障、互联网管制等 ）造成的服务中断或数据丢失的问题，可以更好的保障数据的安全。（补充一下，这里所说的数据安全，并不代表数据的加密安全，IPFS协议本身并未提供数据加密。）
同时，IPFS的网络中的文件传输是以P2P的方式进行传输，可以从多个IPFS网络节点同时下载，速度非常快。相比中心化的存储来说，可以节省近60%的带宽。
此外，IPFS还提供了文件的历史版本回溯功能，可以很容易的查看文件的历史版本，数据可以得到永久保存。相比之下，中心化存储更容易出现因为存储数据过多、存储成本过高，而进行文件删除, 无法永久保存。数据显示，Web文件平均生命周期只有100天。
总结来说，相比目前的中心化存储方案来说，IPFS分布式存储具有数据存储及访问更安全、下载速度更快、成本更低等优势。
西部数据公司副总裁中国区业务总经理刘钢也表示，目前企业级存储架构正面临多方面的挑战：1、数据增长迅速（更多的数据来源，更多的容量需求）；2、存储性能需求倍增（更低延时，更高、更多带宽）；3、TCO成本负担增加（需要更低的单位存储成本、更低的管理维护成本）；4、更绿色能耗体系标准（更低W/IO & W/TB，更低PUE）等。相比之下，IPFS分布式存储架构则弱化了中心化存储的极致需求，节省了服务提供成本。
正因为IPFS分布式存储相对于中心化存储所具备的天然优势，业界普遍认为，IPFS将补充甚至会取代HTTP超文本传输协议，成为Web 3.0时代的基础协议。
IPFS面临的挑战
虽然IPFS项目看似前景无限，但是其也存在着很多值得考虑的问题。
首先，如果有大量的IFPS服务商及个人贡献者提供存储器资源，但是如果没有足够多的用户来使用，那么收益就将无法保障，收益不及预期会打击服务商及个人贡献者的积极性，从而导致存储资源的停止增长。
对于这个问题，西部数据公司副总裁中国区业务总经理刘钢引用IDC预测的数据表示，到2024年，以HDD为代表的大数据预计将增长到1.62ZB，年复合增长率高达30%左右。而以SSD为代表的快数据预计将达到333EB，年复合增长率达到了50%左右。但是每年如此庞大的数据量，也只有小于1.5%的数据被存储了。显然，未来随着数据的爆炸式增长，以及对于数据价值的持续挖掘，需要存储的数据也将会越来越多。
刘钢强调，在数字经济时代，数据就是石油，就是社会发展的动力。那么多宝贵的石油或者资源为什么没有被存储下来，没有进行挖掘、进行分析处理？很重要的一个原因是存储的架构和存储的技术没有及时地跟上，以至于有很多数据被浪费掉了，没有办法被存储下来并及时使用。所以我们需要创新存储架构来为更多的数据提供海量的存储，并且能够快速的访问。而相对于现在成本更高的中心化存储方案来说，具备数据存储及访问更安全、下载速度更快、成本更低等优势的IPFS分布式存储无疑有着更大的成长空间。
IPFS服务商星际大陆CMO兼联合创始人熊昌告诉芯智讯，“互联网它也是一种信息传递的这种方式，而区块链加分布存储其实它是一种价值存储。它的发展真的很迅猛，Filecoin主网从去年10月上线到现在的4月份才才半年时间，但现在的数据量已经达到了4.4个EB左右。但是你再过半年再看，再过一年看，你会发现它的增长速度很快。我觉得IPFS这块的数据存储有可能是传统的存储增长速度两倍、三倍，甚至会更大。”
对于IPFS的应用，雅典娜云池CMO、冰河分布式存储实验室秘书长 张晓航女士表示：“在加速商用应用方面，我们冰河分布式存储实验室也推出了一些计划，去鼓励所有的参与者存储有效数据。我们的云池在实际的商业应用的落地推进过程当中，也已经在无人机、大健康数据，还有一些金融、遗嘱等领域取得了相当不错的进展。在C端的使用上面，其实现在也已经有不少的应用在进行开发，当然目前还比较初级，可能大家做的都是类似于像云盘这样的一些应用。”
IPFS面临的另外一个问题在于，随着大量的IPFS服务商的涌入，大型中心化矿池成为了Filecoin网络上的主力，真正接入的分散的、成本更低的个人或企业供应的硬盘资源微乎其微。这些IPFS服务商其实也已经成为了另类的中心化存储服务提供商，那么IPFS服务商的相比传统的云服务提供商除了分布式存储技术架构，还有其他优势吗？
对此，张晓航女士表示：“目前分布式存储技术服务商，在归档数据和冷数据的存储成本上，以及安全隐私上是有明显的优势的。比如无人机建模，它有大量的这种数据是需要进行存储的；再比如说像医疗健康、基因数据，还有一些金融领域的一些票据，还有包括像广电有很多影像数据等等，这些数据都是属于对检索频率没那么高，但是它又必须存储在那里，所以对于这些数据来说的话，IPFS其实是一个非常完美的解决方案。”
刘钢也表示，IPFS的服务商正在在以更快的速度进化，他们几乎在过去四个季度就走完了云服务商过去四年硬盘的演进过程，对于硬盘的容量需求也快速的从8T进化到了18T。IPFS服务商用了四个季度走完了过去云服务商四年对存储容量节点的进化。这也给IPFS服务商带来了更强的市场竞争力。
“对于IFPS服务商来说，存储盘从14T升级到18T，在保持同样原本同样存储容量的情况下，服务器数量可以减少约22%。同时存储密度提高了，单位功耗也可以降低了约21%，所以整体的部署成本和运维成本都降低了。”刘钢进一步解释到。
西部数据发力IPFS市场
众所周知，作为全球知名的存储技术厂商，西部数据不仅是全球第二大机械硬盘厂商，同时通过收购Sandisk以及旗下的NAND晶圆厂，西部数据也成为了全球第三大NAND Flash闪存厂商。
据了解，西部数据旗下合资工厂的NAND Flash的产能，约占全世界NAND Flash产能的33%。另外，不久前西部数据还发布了第6代3D闪存技术，推出了162层的3D闪存，进一步缩小芯片的尺寸，降低了成本、提高性能。据称它的程序性能提高两倍以上，读取延迟缩短了10%，输入输出性能提高了约66%。
可以说，西部数据是目前为数不多的同时拥有完整的机械硬盘、闪存固态盘技术及产能的头部存储厂商。
相对于原来中心化的存算一体的存储服务器，现在大型的IPFS服务商主要是异构的，即计算集群和存储集群是分开的。其中计算集群是要求快速的进行数据的计算、封装、上链，这个部分（主要是P盘过程）需要快速去完成，这个过程中对于SSD固态盘的性能要求就非常的高。当上链完成之后，存储数据就需要长期的存储，这个部分就需要低成本、高品质的大容量的硬盘。
针对IPFS服务商的需求和痛点，西部数据依托自身在机械硬盘及SSD固体盘两大产品领域的技术优势以及市场优势，也提供了相应的产品及解决方案，助力IPFS服务商进一步优化计算和存储集群。
比如在高容量机械硬盘方面，西部数据拥有18TB硬盘（Ultrastar DC HC550）以及20TB SMR硬盘（Ultrastar DC HC650，单碟2.2TB业界最高容量），在高容量的SSD固态盘方面，西部数据可提供7.68TB的Ultrastar DC SN640 NVMe SSD以及15.36TB的Ultrastar DC SN840 NVMe SSD。可以在提供高性能、高密度存储的同时，帮助IPFS服务商降低每TB拥有成本及运维成本。
△西部数据展示的存储产品
“我们的存储产品可以为IPFS服务商提供更好的可扩展性、高可靠性、低延时、高性能、高可维护性和最优的总拥有成本。”刘钢总结说到。
此外，西部数据还携手浪潮、星辰天合、杉岩数据、长城云等合作伙伴，推出了IPFS解决方案。
刘钢表示：“高速发展的人工智能在对数字经济产生巨大赋能和推动的同时，也推动整个计算产业往“智慧计算”方向演进，巨量模型和海量数据，对算力和存储的需求呈指数级增长。我们很高兴能持续深化与浪潮等合作伙伴的合作，结合双方前沿科技与产品的独特优势，协力打造出高性能、低成本、且兼具稳定性与扩展性等特点的卓越解决方案，优化资源配置，赋能智慧计算。未来，西部数据将与浪潮等合作伙伴加强纵深合作，不断以创新的数据存储架构和解决方案，应对市场多样化的需求，并携手生态系统中的各方伙伴共同推动智能产业的转型与发展，为行业用户创造更多价值。”
作者：芯智讯-浪客剑
地平线征程5流片成功：算力128TOPS，支持L4级自动驾驶！
投资近250亿美元！英特尔开启新一轮建厂计划！目标两年追上台积电
行业交流、合作请加微信：icsmart01
芯智讯官方交流群：221807116