Elasticsearch两层架构降低日志存储成本16倍

在大数据时代，日志存储成为企业运维的重要成本项。Elastic 公司近日发布了一项创新的日志存储架构优化方案，通过简化 Elasticsearch 的数据层级结构，大幅降低了存储成本。

传统 Elasticsearch 数据存储通常采用四层架构：热层（Hot）、温层（Warm）、冷层（Cold）和冻结层（Frozen）。这种多层架构虽然提供了灵活的数据管理能力，但在大规模数据场景下，中间层的运维成本过高，且对财务团队解释数据存储成本变得复杂。

Elastic 提出的新架构将数据流简化为两层：热层（Hot）和冻结层（Frozen）。热层用于存储最近24小时的数据，采用 SSD 存储以支持实时查询；其余数据则通过索引生命周期管理（ILM）自动迁移至冻结层，存储在云对象存储中。冻结层中的数据为只读状态，但仍然可以通过 Kibana 和 ES|QL 直接查询，无需恢复过程。

根据 Elastic 在 Elastic Cloud Hosted 上的基准测试，针对每天数百 TB 数据量的场景，采用两层架构的成本仅为传统四层架构的1/16。测试数据显示，在90天内处理105TB日志的情况下，冻结层的查询延迟保持在个位数秒以内，完全满足企业级应用需求。

这种两层架构的优势在于：

简化了数据管理流程，消除了温层和冷层的节点规格规划、副本管理等复杂操作；

显著降低了存储成本，特别是对于需要长期保留大量历史数据的场景；

保持了查询性能，冻结层数据可以直接查询，无需额外恢复步骤；

更易于向财务团队解释存储成本构成。

Elastic 表示，这种两层架构特别适合大型时序观测和安全部署场景，其中数据在摄取后通常不再需要更新。新事件持续写入热层，而老化的后备索引则自动移动到冻结层。

值得注意的是，尽管这种架构简化了数据管理，但仍需考虑执行基于 Blob 数据查询的 Elasticsearch 节点和冻结缓存层的规格配置。对于希望进一步降低成本的企业，可以考虑使用 Elastic Cloud Serverless 模式，该模式根据实际数据摄取量和存储量计费，而非预配置的集群 RAM。

图1展示了这种两层架构的工作原理：数据首先在热层进行快速 SSD 存储，随后通过 ILM 生命周期管理自动迁移到冻结层，实现成本与性能的平衡。