面对AI模型雨后春笋般涌现、且迭代愈发快速的趋势下“抢算力”、“攻算法”早已成为行业共识，作为AI时代基础要素之一的存力也正随着AI大模型在广度和深度上的不断拓展，其重要性愈发凸显。

  
以主流大模型为例，其训练流程涵盖文本/图像数据收集、清洗与预处理、模型训练及验证测试等。若发生数据完整性和准确性难以保障等“数据存不好”的问题，那么模型的训练效果将大打折扣。

  
基于存储密度和性能的不断优化以及安全可靠、低功耗等特性，企业级SSD，正成为AI时代，为多模态大模型提供存力，保障数据安全完整的核心存储器件。

大模型多模态趋势下 ,存力正变得越来越重要

  
在大模型多模态趋势下，数据的特点展现出了前所未有的复杂性和多样性，其包含多种不同类型的数据，包括文本、图像、音频、视频等等，构成了庞大的数据集。以GPT-4为例，参数规模达到了惊人的1.8万亿巨量参数，较GPT-3的1750亿参数数量提升十倍以上。此外，GPT-4的训练数据规模也大幅增加，达到了13万亿token的训练数据。

  
为了更好应对巨量多模态数据的增长，特别是未来将逐渐上线生成式图片、文本、音频、视频的应用，更好的支撑大模型的训练，存储系统需要不断地进行技术升级和优化，以确保其能够满足日益增长的数据存储和处理需求。此外，在节能减排大趋势下，存储系统的能耗指标等因素也至关重要。

  
大容量存储与扩展：

AI大模型通常依赖于庞大的数据集进行训练和优化，筛选前的数据量在数十到数百PB级，筛选后可到数十到数百TB级，因此存储系统需要具备足够的容量来存储这些数据。随着模型复杂性的增加，模型文件本身容量也随之增大，存储系统需要能够存储这些大型模型文件。多模态数据种类繁多、数据量庞大，后续随着模型的持续迭代，数据必将继续爆发式增长，由此存储系统需要提供更大的容量选择，以满足不断增长的数据需求。

  
数据处理效率：

在AI应用中存在大量实时性要求较高的应用场景，数据需要迅速处理分析以支持内容生成和决策的即时制定。特别是在训练阶段，涉及海量数据的处理（清洗、去重、过滤、加工等）和复杂的计算，存储系统需要能够提供足够高的带宽和IOPS实现对海量小文件的随机读取及模型数据集的快速保存。

  
数据处理卸载至存储：

在AI大模型预处理阶段，读取完海量数据后还需要对数据进行数据增强、格式转换和数据传递等数据预处理，CPU计算能力难以胜任；训练阶段，随着模型参数从千亿级增长到万亿级，GPU需要处理的数据量和计算量呈指数级增长。为此通常将部分模型参数或者计算过程中的部分内容卸载到存储系统，以释放CPU资源分担GPU负载。在这个过程中，需要存储系统能够提供快速的数据读取和写入能力，且能够支持高效的数据传输和并行处理。为CPU、GPU等核心计算资源提供源源不断的数据支持，以提高训练效率，降低计算资源消耗。

  
数据安全与可靠性：

在数据生命周期的各个环节中，数据都面临着泄露、篡改和非法访问的风险。特别是多模态数据，由于其单体价值高，且涉及类型多、体量大，更容易成为网络黑客觊觎的目标。因此存储系统需要有完善的数据保护机制，如LDPC纠错、全路径数据保护、AES自加密等能力，确保数据的完整可用，使其始终处于安全的存储环境。 
 

优质存力满足不同场景AI模型需求

  
面对GPU、CPU、NPU、TPU等异构、复杂的业务场景，以及多模态数据样本，存储非常需要有统一的支撑能力。为满足千行百业丰富多元的存力需求，长江存储推出了一系列存储解决方案，为不同场景的AI模型提供支持。

以长江存储PE321企业级固态硬盘为例，长江存储PE321是其采用第三代三维闪存技术打造的企业级PCIe Gen4X4 NVMe固态硬盘，采用U.2接口，NVMe 1.4协议，具有高性能、低功耗、低延时、高可靠性等特性。同时， PE321提供读取密集型和读写混合型两种方案，应对不同工况，可广泛应用于企业IT、运营商、互联网、金融、智能制造各行业的高性能计算、人工智能、大数据、CDN等核心存储场景之中。