去中心化存储：Web 3.0 遇见元界
文章来自：
https://medium.com/@ld-capital/decentralized-storage-where-web-3-0-meets-metaverse-9629b4beb960
出品：LD Capital Research
作者：Betty, YY
Research Associates: James Kuo, Noise Zhou, Lightmanben
翻译：Lightmanben, Betty
将物理生活转移到线上，用户生成内容（UGC）如火如荼地进行，产生了对具有重要商业和应用前景的数据存储的海量需求。
由于成本高昂以及预先要求的存储设置等因素，集中存储很难跟上在线数据呈指数级增长带来的容量、读写速度、安全性和数据关系的变化。于是，去中心化存储应运而生。
去中心化存储基于区块链技术，具有扩展性更强、安全性更高、效率更高、自动容错、可靠性更高、成本更低等特点。
对于Web 3.0，用户的海量在线足迹和在线内容会产生数量惊人的数据，这些数据依赖于可靠、稳定和安全的数据存储网络。
在元界中，如果货币化的虚拟资产失去了受信任的区块链存储的保护，并且其相应的元数据变得无效或被篡改，则货币化的虚拟资产将成为无法赎回的无价值支票。
当前的去中心化存储解决方案是 IPFS/Filecoin 和 Arweave。IPFS 创新性地引入激励层 Filecoin 来确保在约定期限内可靠地存储数据，Arweave 通过其技术创新实现了链上数据的永久存储。
一、简介
2021年夏天，一组由10000个不规则像素组成的奇形怪状人物突然走红。令市场感到惊讶的是，这些数字中的任何一个都可以以价值数千万美元的 ETH 出售。从那时起，Bored Ape Yacht Club 和 Loot 等类似产品成为加密市场的新宠。从加密艺术和游戏到头像和文字，NFT 的兴起点燃了人们对元界和 Web 3.0 的无限想象。
然而，当 Cryptopunks 激励我们成为身份的象征、热情地玩游戏赚取收入的 Axie Infinity 以及元宇宙充满希望的未来时，您是否曾想过将数据存储在哪里？您是否担心存储数据被篡改？没有人愿意在虚拟化身上花费数千万美元，最终因为底层数据被篡改而得到一文不值的资产。没有人希望在元宇宙中与朋友互动的宝贵记忆会因为系统中断而永远消失。在元界和Web 3.0的起点和数据的爆发式增长，我们迫切需要一个安全、开放、免费、可靠的存储网络。
本文将带您领略存储在 Web 3.0 和元界中的深刻含义，了解去中心化存储在生态系统中的精彩应用。此外，我们将展示基于当前情况的不同去中心化存储解决方案之间的研究和比较。
2、存储产业生态
广泛的 Covid 19 大流行加速了物理世界与虚拟世界之间的界限模糊。人们已经将他们的活动从现实世界中的招聘、社交网络、娱乐、餐饮、购物、旅游等转移到网上。与此同时，从 Web 1.0 到 Web 3.0，数据生产已经爆炸式增长，并将继续呈指数级增长。从被动的数据浏览转变为热情的内容生成。根据360.cn的行业研究，预计到2025年全球数字内容创作市场规模将达到16.9亿美元。加上UGC模式的全面展开和数据的指数级增长导致海量数据存储需要。芯片技术、算法、硬件的发展推动了存储技术的进步；数据价值的解锁和数据安全的刚性需求，倒逼数据存储的创新和基础设施建设。在软件和算法的迭代与融合中，存储行业已经从传统的磁盘存储逐步超越了硬件的限制，向云数据存储演进。作为区块链技术（即计算、存储、网络）的支柱之一，存储对于元界的发展具有重要意义。从应用的角度看，虚拟世界的稳定运行依赖于数据安全与数据主权的终极隶属关系；从经济角度来看，元界和Web 3.0所产生的海量数据存储需求，有着巨大的商业前景。
由于各种因素，我们目前无法评估整体存储市场规模。然而，以云存储为例，预计到 2027 年，全球云存储市场规模将达到 2220 亿美元，预测期内复合年增长率为 21.9% （Sneha Korad Rachita Rake & Vineet Kumar，2021）。
数据存储的商业模式主要分为集中式存储和分散式存储。中心化存储将数据完全存储在中心化服务器上，去中心化存储使用分布式存储技术将切片数据存储在多个独立的存储提供商中。集中式数据存储，以高稳定性、低成本满足企业级存储需求；去中心化存储因其定制的存储解决方案、经济激励模型和强大的隐私性而受到长尾市场的青睐，以满足这些公司的特定要求。去中心化存储的重要性在 Web 3.0 和 Metaverse 中变得更加重要，提高了对数据安全和用户数据所有权的认识。
2.1 集中存储
去中心化存储是从大型机时代开始，即整个存储集中在具有固定数量节点的单个系统中的多组设备上。由于数据只经过一个控制器，去中心化存储具有延迟低但成本相对较高、安全性不足、服务提供商可扩展性低等优点。保持集中存储系统平稳运行的关键因素之一是存储服务器的稳定性。因此，它已成为存储系统性能的瓶颈和可靠性的关注点。稳定性问题对存储环境和硬件提出了很高的要求。因此市场被AWS、Azure、谷歌云、阿里云等科技巨头垄断，占云存储总市场份额的67%。
随着UGC的普及和微博、Facebook等社交平台的发展，我们进入了数据指数级增长的时代。数据的爆发式增长对存储容量、扩展速度、数据备份能力提出了更高的要求；用户之间的实时交互需要更快的读写速度和更高的安全性。同时，由于 UGC 数据的多样性和复杂性及其相互关系，存储系统需要将模型从单一文件类型转换为各种半结构化和非结构化数据关系模型。由于高昂的基础设施成本和中心化存储的进入门槛，去中心化存储应运而生。这些功能使集中式方法难以跟上容量和数据类型的数据生产。
2.2 去中心化存储
正如IPFS（星际文件系统）的早期布道者胡飞同所说，“在中心化数据存储的世界中，用户不仅为数据存储付费，而且得不到高质量的数据保护。通过分散的方法，用户可以管理他们的数据、加密存储的数据、授权访问数据以及备份存储。这些功能有望通过共享模式极大地确保用户隐私，增强长期数据存储并降低成本。这是数据存储发展的必然阶段。”
去中心化存储基于区块链技术，使用开源应用程序和算法将切片数据存储到多个独立的网络节点。它通过为网络节点和内容上传者提供激励来倡导隐私保护、数据备用冗余和价值导向的数据。在提到的功能中，激励模型是去中心化存储的点睛之笔，因为它允许数据长期保存和安全。
去中心化存储与区块链技术的融合提供了强大的可扩展性、高安全性、高效率、自动容错、高可靠性和低成本。（ 教科教，2020）
可扩展性：存储节点数量可以无限扩展，每个节点的存储容量也可以灵活变化。
安全性：在不知道服务提供商或寻求第三方信任的情况下，将存储的数据分成碎片并分配在多个节点中。数据加密过程不仅限于最终用户和软件，还通过零知识证明和私有网络密钥访问等方法发生在存储网络的所有环节。
高 效率：同一网络上的节点可以直接共享文件。
自动容错：由于存储的数据已经分发到网络中的多个节点，当数据传输或存储出现错误时，多份数据就派上用场了。
高可靠性：存储系统包含验证机制，确保存储的文件完整真实，用户24-7访问。
低成本：建议爱奇艺向传统存储提供商支付 100 万美元用于存储《中国有嘻哈》的单集，成本为 0.001 美元/GB。相比之下，IPFS分布式传输可以节省60%的带宽成本。（史客娇，2020）
3.去中心化存储：Web 3.0 遇见元界
3.1 去中心化存储和 Web 3.0
互联网的起源可以追溯到1989年万维网的创新。如果说门户网站开启了Web 1.0时代，那么2003年博客的兴起就标志着Web 2.0的开始。从 Web 1.0 到 Web 2.0 的转变表明，被动的信息接收逐渐被自创内容和在线交互所取代。这些变化将互联网用户的注意力转移到 UGC、可用性和互操作性等应用体验上，最终将 Web 3.0 带入生活。正如 Timothy Berners-Lee 所说，“人们一直在问什么是 Web 3.0。我想也许当你在 Web 2.0 上覆盖了可缩放的矢量图形——所有的涟漪和折叠，看起来都是朦胧的——并访问一个跨越巨大数据空间的语义网络时，你将可以访问一个令人难以置信的数据资源”。（Victoria Shannon, 2006）虽然我们还没有就 Web 3.0 的定义达成共识，但它应该具有以下特征（ Fabric Venture, 2020）：
开放：开源软件由开放且可访问的开发者社区构建，在链上进行的操作可以被其他人查看。
无信任：网络允许在没有受信任第三方的情况下公开或私下进行交互。Web 3.0 采用去中心化的激励机制，确保参与者遵守规则。Web 3.0 还通过区块链协议的共识机制验证账户的真实性和交易转移的有效性，实现价值转移的去中介化。
无权限：用户或存储提供者都可以在没有管理员授权的情况下参与。
Web 3.0 正在模糊数字世界和物理世界的界限。海量在线用户的数字足迹和在线内容创作需要幕后稳定可靠的数据存储网络。否则，Web 3.0 中发生的事情最终将成为无用的数据碎片。
3.2 去中心化存储与元界
2021年，随着Roblox的上市，元界的概念突然席卷互联网、VR/AR、金融投资等各大行业。人们通过开发以5G为代表的微型计算机、VR设备和高速网络技术，已经走到了元宇宙的边缘。作为我们上一份研究报告《元界概览：从过去到未来》，据说，Metaverse 的点睛之笔是它的经济系统。首先，基于区块链的开放式支付结算系统能够满足实时、公平、透明、快速的P2P支付需求。其次，将用户在元界中的虚拟物品或创造物货币化，为用户提供与现实世界类似的权益保护，进一步促进元界中资产的流通和交易，鼓励用户创新积累财富。在这一切的背后，如果货币化的虚拟资产失去了受信任的区块链存储的保护，并且其相应的元数据变得无效或被篡改，则货币化的虚拟资产将成为一文不值的支票，不会被接受。
3.3 主要去中心化存储解决方案
3.3.1 比特流
BitTorrent，即所谓的BT下载，是软件工程师Bram Cohen在2003年提出的最早的去中心化传输解决方案。BitTorrent克服了传统P2P下载方式的局限性。它不需要内容资源发布者拥有高性能服务器来传输数据，并且下载相同文件的用户越多，下载速度可以越快。此外，免费模式也吸引了广大网友使用。但是，BitTorrent 必须使用包含所有目标内容地址的 torrent 文件来执行下载。下载内容严格限制在torrent文件范围内。但由于传播过程中丢失相关数据内容，种子文件会随着时间的推移而减少或消失。
此外，BitTorrent 缺乏激励用户共享未付费文件的动机。如果没有适当的激励机制，就只能存在那些被广泛传播和不断下载的热门内容。那些未能吸引大众的同样重要的内容可能会在漫长的历史中消失。
3.3.2 IPFS/Filecoin
IFPS（InterPlanetary File System）是2015年提出的另一种去中心化存储解决方案，它克服了BitTorrent的缺点，通过创建多个版本的文件，预先下载内容，实现去中心化、快速、高效、可靠、安全的内容存储方式。值得注意的是，IPFS 引入了其激励层 Filecoin，这是一种开创性的方法，可确保在约定的时间内可靠地存储数据。
Filecoin 允许任何个人提供数据存储和检索服务，将他们闲置的硬盘和带宽容量货币化。并且采用复制证明（PoRep）和时空证明（PoSt）机制来证明存储数据的状况，防止女巫攻击、外包和生成攻击等攻击。简而言之，PoRep 验证存储数据的完整性，PoSt 在响应时审核矿工提供的存储。Filecoin 的工作原理如下图所示：客户端通过发出订单信息找到合适的存储矿工，然后将加密密封和切片的数据发送给矿工。最后，矿工将数据添加到扇区并不断证明目标内容已存储以获得奖励。
当然，Filecoin 的商业模式并不完美。需要专业设备，GPU矿机参与。较高的挖矿成本和进入壁垒，使得普通人无法直接提供存储，整个存储网络将被少数巨型存储提供商和大型矿池所占据。IPFS 理想的去中心化存储解决方案在一定程度上再次中心化。
Filecoin 于 2020 年 10 月推出其主网，目前有 3,175 个活跃节点，主要分布在北美、欧洲、中国和韩国。截至 2021 年 10 月 14 日，有效算力总和为 12.393 EiB，其基础费用为 0.3591 nanoFIL，封存 32G 扇区的成本为 4.958 Fil/TiB（数据来自 filscout.com）。
随着Filecoin底层网络和基础设施的完善，其网络效应的早期红利已经吸引了众多应用参与。目前，Filecoin已经建立了一个涵盖“消费者存储应用、数据市场、数据检索、NFT、Defi、可验证存储和隐私”领域的生态系统，其中包括Fileswan、NFT Storage、Opera和Livepeer等项目。
3.3.3 织纹
与 Filecoin 的链下数据存储不同，Arweave 的新颖解决方案将数据直接存储在区块链中，侧重于永久存储和链上去中心化存储。Arweave的框架如下图所示：底层区块链网络Blockweave和上层基于HTTP的Permaweb。Arweave 的亮点在于其底层的 Blockweave 网络：
Blockweave：该项目基于共识机制和特定的区块生成模式，引入了全新的区块链网络Blockweave。它为之前所有区块的哈希值和活动钱包生成表格，供矿工稍后验证工作，而不是将整个节点验证为 BTC 和 ETH。这种方法降低了能耗并提高了节点效率。
激励算法，Wildfire：与Filecoin需要在约定的存储期限后连续收取存储费用不同，Arweave仅在数据存储时收取一次性永久费用。之后，用户可以自由读取数据。为了鼓励节点响应数据读取请求，Arweave 引入了激励算法野火。它是一个基于响应速度和接受数据量的节点排名系统。从相邻节点获得的数据越可靠，给出的分数就越高，出块的概率就越大。
SmartWeave： SmartWeave 现在不需要来自网络节点，而是要求用户执行智能合约。在这个模型中，Arweave 网络作为通用数据共识和共享层执行，它有助于在 Arweave 网络之上启用计算量大的 Dapp。
虽然 Arweave 存储解决方案将数据存储在链上以保证数据的不可篡改、永久存储和公共访问，但该模型有其缺点。首先，数据不能被调和，这意味着修改数据的唯一方法是更新新版本。虽然这个动作会增加迭代成本。其次，为了保证数据的永久存储，Arweave 需要不断吸引新节点的参与者，同时保持边际收益超过边际成本。但是，节点总数一直在减少。目前有146个节点，比2020年5月的490个节点减少了70%。
Arweave 于 2019 年 1 月 29 日上线主网，并于 2020 年 5 月发布了具有捆绑交易功能的 Arweave 2.0。链上交易量从 2021 年初开始上升，并在 9 月达到峰值（日均交易量超过 80,000） . Solana上Metaplex糖果机的上线，跨链桥ipfs2arweave的发布等，让Arweave的表现更加出色。
在 Arweave 生态系统中的项目中，最活跃的是 NFT、Defi 和 Koii、Limestone 等基础设施领域。Arweave 生态系统仍处于早期建设阶段。
4 展望
随着数据安全和用户数据所有权意识的提高，分散存储对于 Web 3.0 和 Metaverse 变得更加重要。去中心化存储在存储来源、带宽来源、安全性、实用性等多个方面与中心化存储不同，这些因素导致目前去中心化存储的规模远小于中心化存储。IPFS 和 Arweave 等项目通过引入不同的激励机制来扩展网络总计算能力，从而克服了去中心化存储的不足。然而，成本结构以及项目团队与用户之间利益不一致等事实阻碍了其快速增长。去中心化存储生态尚处于早期阶段，需要平衡成本、节点数量、
我们期待 Metaverse 和 Web 3.0 中去中心化存储的未来。网络的飞轮效应将推动去中心化存储应用的激增。随着存储技术的改进和激励模型的优化，去中心化存储行业最终将取得重大而稳定的进展。