PB级SSD普及在即,传统RAID架构面临数据可靠性危机,VAST模拟显示10年丢失概率高达1/11

随着单盘容量迈入PB级时代,传统并行文件系统中的局部RAID架构已难以保障数据安全。VAST Data通过900 PB系统仿真指出,采用15TB SSD时10年内数据丢失概率为1/11;而改用全局纠删...

半导体/芯片 阅读量: 9.44万

当固态硬盘单盘容量从TB级跃升至PB级,存储系统的底层容错机制正面临一场静默但严峻的重构挑战。VAST Data在超级计算大会SC26上披露的一项仿真研究揭示:若继续沿用当前主流的机柜级分散式RAID(declustered RAID)架构,部署900 PB规模的PB级SSD集群,其10年内发生不可恢复数据丢失的概率高达1/11——这意味着每11个同等规模的系统中,就有一个可能在十年内彻底失效。

这一结论并非理论推演,而是基于真实硬件故障率数据构建的离散事件仿真模型。VAST首席技术战略官Glenn Lockwood在HPC系统硬件与架构论坛中详细展示了该模型:它模拟了数千块SSD在连续运行中的读写、坏块、控制器故障及整盘失效等行为,并将重建时间、带宽竞争与多盘并发故障纳入考量。

问题的核心在于容量与重建时间的非线性关系。一块15 TB SSD在RAID组中发生故障后,需从其余成员盘中读取全部数据进行重建;而一块1 PB SSD的重建过程不仅耗时更长(按现有接口带宽估算可达数天),且在此期间系统处于“降级”状态,若再发生第二块盘故障,即触发数据丢失。随着单盘容量指数级增长,重建窗口显著拉长,而现代数据中心因功耗约束普遍采用高密度部署,单位机柜内盘数更多,故障概率叠加效应被放大。

值得注意的是,推动PB级SSD落地的并非单纯追求容量,而是能效比的现实压力。Lockwood指出,单块SSD的功耗约为28 W(含配套供电与散热基础设施),而带宽功耗则为20 W每GB/s。以构建900 PB全闪存阵列为例:若采用15 TB SSD,需超63,000块盘,总带宽达190 TB/s,功耗约5.6 MW——相当于3,100块英伟达Blackwell Ultra GPU的能耗。相比之下,若使用单盘245.76 TB的美光6600 ION E3.L SSD(如图1所示),仅需约3,660块即可达成同等容量,大幅降低物理空间与电力开销。这正是各大AI训练中心与超算中心积极评估PB级SSD的根本动因。

然而,能效优势不能以牺牲可靠性为代价。VAST提出的解决方案是放弃传统的“局部RAID”,转向系统级全局纠删码(global erasure coding),并至少配置3个校验条带(parity strips)。仿真结果显示,该方案可将10年数据丢失概率降至约1/5400万;而VAST自研的增强型纠删编码架构进一步优化了数据分布与重建路径,最终实现1/620亿的极低风险——比传统RAID方案提升三个数量级。

文章配图

该结论对现有主流并行文件系统构成直接挑战。Lockwood明确点名DDN EXAScaler与HPE Cray ClusterStor所依赖的“机柜本地化分散RAID”架构,在PB级SSD场景下已不再适用。行业亟需重新设计数据保护逻辑:从以“盘”为单位的冗余,转向以“数据块+逻辑卷”为粒度的跨节点、跨机柜分布式校验。

值得强调的是,这一变革并非仅影响存储厂商。在AI算力爆发背景下,数据中心正加速向“存算协同”架构演进。AMD近期披露其Venice平台需求创Epyc历史纪录,Helios机架系统已向OpenAI、Anthropic等交付;Meta签下6 GW Instinct GPU订单,表明大规模训练集群对高带宽、低延迟、高可靠存储的依赖日益刚性。若底层存储因架构陈旧导致数据丢失,整个训练任务可能中断数日甚至数周,成本远高于硬件升级投入。

另一层影响来自运维范式转变。传统RAID依赖硬件RAID卡或OS层软件实现,而全局纠删码需深度集成于分布式文件系统或对象存储层,对元数据管理、I/O调度与故障预测提出更高要求。例如,重建过程中需动态调整优先级,避免拖慢关键训练作业;同时需结合SMART、温度、写入量等多维指标预判潜在故障盘,提前迁移数据。

目前,PB级SSD仍处早期商用阶段。美光6600 ION系列是全球首款量产的245.76 TB E3.L规格企业级SSD,采用176层3D NAND与PCIe 5.0接口,面向AI推理与高性能计算负载优化。其物理尺寸与标准U.2盘一致,便于在现有服务器中替换部署。但真正制约落地的并非硬件本身,而是上层软件栈的适配能力。

文章配图

事实上,存储架构的演进正与计算架构同步加速。如图2所示,AMD Instinct MI300X加速卡与EPYC处理器组成的异构计算平台,已广泛用于大型语言模型训练。此类系统每秒产生TB级中间激活值与梯度数据,对存储吞吐与持久性提出严苛要求。若SSD容量翻百倍而可靠性未同步提升,将形成新的性能瓶颈。

行业已有响应。Ceph社区正在推进支持跨 OSD 纠删码的BlueStore后端优化;IBM Spectrum Scale测试版已引入“全局校验域”概念;而VAST自身的产品Data Lake OS则原生采用其专利的“无限扩展纠删码”(Infinite Erasure Coding),支持单集群EB级容量与亚毫秒级元数据操作。

短期看,PB级SSD不会立即取代TB级产品,但在特定场景——如AI模型检查点存储、科学计算中间数据暂存、基因组大数据归档——其优势已不可忽视。长期而言,当单盘成本持续下降、接口协议(如CXL 3.0)进一步解耦计算与存储资源时,PB级SSD将成为超大规模数据中心的标准配置。

届时,能否在不牺牲可靠性的前提下驾驭如此庞大的单体存储单元,将决定下一代基础设施的成败。正如Lockwood所言:“我们不是在讨论未来五年的事,而是在为未来十年的AI工作负载做准备——那些系统将生成和处理的数据量,远超我们今天的想象。”