科教玩转AI：懂行的都在卷算力，更懂行的在升级全闪存储
共 4076字，需浏览 9分钟
·
2024-04-25 19:06
让更懂行的用户聚焦存力，
从而可以更好助推产教融合发展
当“大模型+大算力+大数据”业已新一代人工智能发展的基本范式时，懂行的早已关注大算力，更懂行的却将目光更多转移到了存力。
其一，存力核心基础设施价值凸显。数据质量高低在很大程度上决定了大模型智能化水平，作为支撑高质量数据集的载体，高性能的存储系统成为大模型进化不可或缺的核心基础设施。这一观点得到了大模型厂商的认证，4月18日Meta正式发布最强开源大模型Llama 3，扎克伯格就在访谈中提到，外置专业存储在AI训练中很重要。
其二，升级全闪成为降低能耗最佳途径之一。然而，大模型进化虽然迅猛，但能源将成为限制。谈及能耗管控方面，相比传统磁盘存储，全闪存储凭借高性能、低功耗、高可靠的优势受到许多企业的欢迎。
算力存力协同发展，
大模型进化才能跑得更快
在AI大模型时代，算力发展迅猛，成为大模型训练的主要成本，用户特别关注算力顺理成章。
在卷算力的同时，保障算力使用的存力也需重点关注，实际上在大模型训练过程中，算力存力协同发展才有现实意义。
一方面，从AIGC发展现状来分析，AIGC在很大程度上促进了内容生产更快更多，根据其内容模态不同可分为文本、视频、图像，音频与跨模态生成，这对于任何有志于大模型创新的科技公司而言，都需要大量的存储空间来保存模型数据采集、预处理、训练集数据及结果数据等。
二方面，随着Sora文生视频异军突起，生成式AI将迎来新的技术革命，与此同时，文生视频也将进一步引爆大模型数据爆炸式增长的新趋势。大模型数据存储容量将发生新的飞跃式攀升，从而加快迈向PB级的大模型存储时代，这对于大模型进化将是一项新挑战。
由此而言，大模型对于算力基础设施要求将会聚焦在智能算力、数据存力与网络运力三个方面。作为高质量数据集载体的存储系统，当仁不让地成为大模型核心基础设施之一。
用户已经从一味的堆叠算力，到让每一分算力都发挥最大价值的阶段，这时候就要看存储的技术创新了。
那么，问题来了，如何更好地实现算力存力协同发展呢？在此之前，必须明确了解多模态的大模型海量计算，已经对数据存储提出了前所未有的高要求。道理大家都容易懂，存储高要求实现越好，匹配智能算力发挥就越充分，从而大模型进化就越快。
然而，事实上，当前大模型存储却涌现出了三大制约其进化的挑战。
其一，数据加载速度低下，成为影响模型训练时间的重要因素。其二，数据访问协议多样性，导致数据访问效率不高。其三，大模型进入落地应用阶段，开始走进千行百业，与各种各样的场景进行深度融合。基于此，大模型面对多种安全威胁与挑战。
可见，不搞定大模型存储的三大挑战，恐怕难以让大模型进化跑得更快。
聚焦大模型进化的木桶短板，
自研XDS创新破局
哪里有挑战，哪里就有突破。
诚然，在AIGC数据风暴下，大模型存储针对存储性能、访问效率、数据安全等方面的挑战，成为大模型进化的木桶短板。一直在数据存储领域有着全面布局的曙光存储，在应对AIGC存力挑战上，自研XDS技术实现存储创新破局，满足大模型快速进化的高性能存储需求，也为曙光存储的未来发展创造了新的机会。
中科曙光存储产品事业部副总经理 、曙光存储公司副总裁 杨志雷
奔着算力存力协同发展的趋势，中科曙光存储产品事业部副总经理 、曙光存储公司副总裁杨志雷表示，曙光ParaStor首创实现XDS智能加速技术，缩短数据传输IO路径，减少CPU开销，打造高效的存算协同。
针对以前常用AI训练的缓存模式，GPU需先存储数据到缓存，然后由CPU操控指令，GPU才能读取数据。从CPU到缓存再到GPU，GPU数据调取效率太低。为了助力加速AI流程，XDS技术开创性地实现数据直接加载到GPU，保证了存和算之间的通讯几乎是无缝的，而且不需要通过更多的协议转换，加速AI训练的数据集加载与处理。与此同时，XDS技术值得一提的创新之处在于支持异构GPU直接存取，也支持多款算力端GPU直接存取。如此一来，面向AI场景，XDS加速训练、推理业务流程带来立竿见影的作用。
针对存力端的特定需求，XDS技术内嵌ParaBuffer加速引擎，在AI训练计算节点与存储系统之间构造大内存池，将系统整体I/O性能提升数倍。从真正意义上实现AI存算协同优化，大幅缩短训练时间，由数十天降低至几天。
针对大模型存储在数据访问协议多样性上的挑战，曙光ParaStor早已全面支持文件、块、对象等多种存储协议，实现统一的协议管理。ParaStor支持多副本及纠删码的冗余模式并存，支持多协议访问。在提升系统可用性、可靠性及性能的同时，大幅度降低存储成本。
针对AI存储的数据安全性的挑战，曙光ParaStor拥有全栈自研能力，从操作系统、存储架构、软件核心模块、存储介质等多层面保障数据安全。在数据存储全栈安全的考量，带给用户更多放心与安心。
由此可见，XDS加速技术不仅带来存储效率提升，同时支持多存储协议与智能分级，数据管理省心可靠，最终帮助大模型行业实现降本增效。
很显然，随着大模型行业发展深入，打造行业AI底座的道路上，XDS技术支持大模型应用的价值将得以进一步彰显，AI未来已来，曙光存储以长期以来的创新坚持，引领存储未来趋势。
“疯狂星期四”加速升级全闪，
锻造创新教育AI底座
在加速行业AI应用落地方面，科教行业呈现出了新变化。
之前，教育部大力推进人工智能、大数据等学科发展，又进一步扩大了高校教学对计算资源的需求，同时也带动了存储资源的建设。像清华大学、北京科技大学、复旦大学、湖州师范学院、福建师范大学、华南理工大学等科研院校机构，纷纷在AI领域丰富自己的能力，面向科研科教不断进取。
此外，大模型的发展也加速了AI为科学研究带来更多可能性，AI for Science（AI4S）人工智能驱动的科研一时间备受关注。AI与科研的深度融合，针对自然界、人类社会的各种现象和规律，AI4S利用AI技术学习、模拟、预测和进行优化，以此寻求解决各种问题，从而推动科学突破与创新。目前，在生命科学、材料科学、能源、半导体、地球与环境等众多领域及细分领域，AI4S已经都在不同程度地推进产研实践。
据中科曙光存储产品事业部副总经理 、曙光存储公司副总裁杨志雷介绍，部分重点高校不仅有自己的先进计算实验室，并且正朝着更大规模的数据中心发展，锻造创新教育AI底座成为大家的必然趋势。同时在AI4S助力科学研究上，高效处理海量数据的需求也非常突出。
从实验室走出的曙光更能深刻理解科教的数据存储需求，凭借着多年的技术积累，发力科教行业，基于科教行业的场景需求，强化AI底座，并推出“疯狂星期四”全闪升级促销活动，加速升级全闪存储，满足科研院所和高校的AI数据存储需求。
全闪升级活动细则包括：全闪存储免费送！仅限科研教育行业用户。活动有效期为：2024年5月1日至2024年12月31日。
活动规则：买满5PB机械硬盘容量，赠送3重大礼，提升5倍性能。
赠送1：150TB全闪存储容量（NVMe SSD）
赠送2：分级存储license授权
赠送3：IO模型分析套件
回馈科教用户，价格不变，性能提升5倍+，这样的促销值得关注一下。
全球存储观察分析指出，虽然懂行的用户都在卷算力，曙光存储“疯狂星期四”活动，让更懂行的用户聚焦存力，从而可以更好地助推产教融合发展。
值得关注的是，曙光存储全栈自研，打造从部件到存储节点到系统到整体存储方案的四级安全体系。减少频繁参数调优、服务器或网络故障等原因导致的中断影响，保障数据全生命周期内存储系统的高可靠性。不仅稳定安全，而且中科曙光ParaStor分布式全闪存储的整体拥有成本更具性价比。
面向未来发展，玩转AI，科教行业升级全闪存储势在必行。
“疯狂星期四”更多精彩请点击阅读原文