Elastic优化Kafka接收器为每分区配独立线程实现租户性能隔离

Elastic近期对OpenTelemetry Kafka接收器进行底层重构，以解决多租户共享采集器时因资源争用导致的性能隔离失效问题。原有架构中，单一消费者循环处理所有Kafka分区数据，反序列化后统一送入共享发送队列，再由工作线程并发导出至各租户专属Elasticsearch集群。当某租户后端响应变慢时，其数据在队列积压，不仅阻塞自身处理，还会因队列满导致整个接收器消费停滞，引发全租户服务中断。

为根治该问题，Elastic提出两项互补优化：第一，实施分区级独立工作单元，即为每个Kafka分区分配专属工作线程，各自完成拉取、反序列化与提交全流程，避免单一分区卡顿影响其他分区消费；第二，引入租户级发送队列配额控制，通过新增处理器限制单个租户最多占用队列容量的30%，超限时触发本地缓冲或背压机制，防止资源被单租户垄断。

两项改动协同实现处理层与资源层双重隔离：慢租户仅在其所属分区及配额范围内排队，其余租户数据流仍可正常拉取、处理与投递。方案严格维持‘至少一次’语义保证，确保数据不丢失，恢复后自动重试。相关代码已合并至OpenTelemetry Collector上游项目，并随Elastic Agent 8.14版本上线，用户无需调整主题结构即可启用。该优化适用于托管型SaaS可观测平台，显著提升多租户环境下的服务可靠性与SLA保障能力。