Snowflake自适应计算架构解析,共享资源池与按需调度如何打破计算孤岛

Snowflake推出自适应计算(Adaptive Compute)架构,通过共享计算资源池、自动调整单查询规模等机制,在保留工作负载隔离边界的同时显著提升资源利用率。该方案将原15+项配置简化为仅2...

人工智能

在现代数据平台中,计算资源的分配方式正从“静态预留”转向“动态响应”。Snowflake近期推出的自适应计算(Adaptive Compute)架构,标志着其底层执行引擎的一次关键演进——它并非简单地增加硬件或优化单点性能,而是重构了计算资源的组织逻辑,试图在隔离性与效率之间取得新平衡。

传统标准型虚拟仓库(Standard Warehouse)采用严格的资源隔离模式:每个虚拟仓库拥有独立的计算资源池,查询被路由至特定仓库后,仅能使用该池内容量。这种设计保障了成本核算清晰、SLA可承诺、治理边界明确,却也带来结构性浪费——当某仓库处于低负载时,其预留的计算能力无法被其他高负载仓库调用,形成“计算孤岛”。用户常被迫在两种低效方案间权衡:要么部署多个小规模仓库导致大量闲置容量;要么合并为少数大型仓库,牺牲隔离性与精细化管控。

自适应计算的核心突破在于“共享计算资源池”(Shared Compute Pool)。账户内所有启用自适应模式的虚拟仓库不再各自持有专属资源,而是统一接入一个专属的、非跨账户共享的计算池。各虚拟仓库仍作为独立访问端点存在,用于权限控制、审计追踪与成本分摊,但底层执行层已实现池化调度。这意味着:一个ETL任务暂歇时释放的算力,可即时被BI仪表板刷新查询调用;夜间批处理高峰前,系统可提前预热资源,避免排队等待。

这一转变的价值随迁移规模递增。单个虚拟仓库迁移后收益有限,但当账户中多数工作负载转入自适应模式,资源池总需求波动趋于平滑,调度器获得更大优化空间——类似电力网络中的“峰谷调节”,系统可在整体层面实现更高利用率与更低边际成本。

另一项关键创新是“按查询自动扩缩容”(Autosizing)。传统模式下,用户必须为整个虚拟仓库选定固定规模(如XL),所有查询无论大小均强制使用同一规格。现实工作负载高度异构:一条仅扫描数百万行的聚合查询,与一条连接数十亿行的复杂ETL任务并存于同一仓库。前者在XL规模下严重超配,后者则可能因资源不足而拖慢。

自适应计算将决策粒度下沉至单条查询。系统依据查询特征(如数据扫描量、JOIN复杂度、聚合维度数)实时估算所需算力,并为其分配最适配的计算单元组合。这相当于为每条查询“定制”一个微型虚拟仓库。效果直观:小型查询不再承担冗余开销,节省的算力可支撑更多并发;大型查询获得足量资源,避免因资源瓶颈导致的长尾延迟。

图中可见,在传统模式下,34%的查询(XS级)实际只需极小算力,却被迫运行在高规格实例上;另有17%的M级查询因资源不足而性能受限。自适应模式下,各尺寸查询占比与其真实需求高度匹配,阴影区域(即“浪费”与“不足”)基本消除。

值得注意的是,自适应计算并非牺牲可控性换取效率。它通过两个核心属性替代原有15个以上配置项:一是“虚拟仓库类型”(Adaptive),二是“最大并发查询数”(Max Concurrency)。其余如多集群设置、自动挂起策略、查询加速服务(QAS)开关等,均由平台基于实时负载与历史模式自动决策。例如,当检测到某类查询频繁触发QAS缓存命中,系统会动态启用加速;当空闲周期延长,自动挂起机制将在毫秒级响应中释放资源。

固定规模与自适应规模查询分布对比

此外,自适应架构天然兼容最新硬件与软件加速技术。用户无需手动升级配置以启用新GPU特性或向量化执行引擎——只要底层基础设施支持,平台即自动将新能力注入调度决策链路。

从工程角度看,这一架构依赖一套精密的准入控制机制(Admission Control)。它不仅判断“能否执行”,更评估“何时执行最优”。例如,对于高优先级但资源需求大的查询,系统可能暂缓其启动,等待池中出现连续大块空闲;而对于低延迟敏感型查询,则优先分配碎片化资源确保快速响应。这种细粒度调度能力,是传统静态资源模型难以实现的。

行业背景进一步凸显其价值。随着企业数据量持续增长,分析场景日益复杂——从实时流处理到AI训练前的数据准备,再到LLM驱动的自然语言查询,工作负载混合度远超以往。在此背景下,资源利用效率直接关联TCO(总拥有成本)。据Snowflake内部观测,全面启用自适应计算的客户,平均计算成本下降18%–35%,且查询排队率显著降低。

计算规模与速度关系曲线图

对比其他云数据平台,Snowflake此轮迭代聚焦于“架构级优化”而非功能叠加。例如,BigQuery的 slots 模型虽支持弹性伸缩,但仍以项目/作业为单位分配;Redshift的 concurrency scaling 提供临时扩容,但未解决长期闲置问题。自适应计算的独特之处在于:它在保持租户级与工作负载级隔离的前提下,实现了跨虚拟仓库的资源动态共享——这既满足企业治理要求,又逼近理论最优利用率。

文章配图

图中“scaling wall”揭示了传统线性扩容的局限:从2XL到4XL,理论算力翻倍,但实际性能仅提升约32倍(而非理想64倍),表明存在显著的调度与通信开销瓶颈。自适应计算通过避免“一刀切”扩容,绕开了这一墙——它让32X规模的查询真正获得接近32倍的加速,而非被低效调度稀释。

值得补充的是,当前行业对高效推理框架的关注亦印证了类似趋势。如DeepSeek近期开源的DeepInfer推理框架,同样强调缓存复用、SWA Bounded Replay等技术以降低Agent任务的重复计算开销;其单集群日吞吐达155万亿Token,正是通过细粒度资源调度与状态复用实现的。这说明:无论是数据分析还是大模型推理,“按需分配+智能复用”已成为提升算力经济性的通用范式。

Snowflake自适应计算目前面向部分客户灰度开放,预计2026年Q2起全面可用。其落地效果将取决于企业工作负载的多样性与峰值波动程度——越复杂的混合负载环境,越能释放其潜力。对于数据密集型组织而言,这不仅是配置简化,更是从“资源管理”迈向“智能调度”的一次范式迁移。