谷歌推出TPU8tx与8iMax,专攻安全推理与长上下文智能体任务

谷歌在第八代TPU产品线中新增两款专用型号:TPU 8tx面向高安全需求场景,采用AMD EPYC主机与Boardfly网络;TPU 8i Max则集成双8i芯片,提升长上下文推理能力。两款新品均基于...

半导体/芯片 阅读量: 1.29万

谷歌近日在其第八代张量处理单元(TPU)产品线中新增两款专用系统——TPU 8tx与TPU 8i Max,标志着其AI硬件策略进一步向场景化、模块化演进。此次更新并非全新流片,而是基于已量产的TPU 8t与8i硅片进行系统级重构,旨在满足日益细分的AI应用需求:前者聚焦高合规性环境下的保密计算,后者则强化对长上下文智能体(agent)任务的支持。

回顾今年4月,谷歌首次公布第八代TPU家族,包括面向大规模训练的TPU 8t与侧重低延迟推理的TPU 8i。二者分别搭载Arm Axion主机CPU,通过3D环面网络(3D torus)互联,理论峰值算力达12.6 PFLOPS(FP4)与10.1 PFLOPS,HBM带宽分别为6,528 GB/s与8,601 GB/s。这一分工清晰的设计迅速获得市场认可,谷歌宣称目前已拥有近100家客户,其中Meta近期亦宣布将部分AI工作负载迁移至TPU平台。

新推出的TPU 8tx延续了TPU 8t的底层硅片设计,但系统架构发生显著变化:主机CPU由Arm Axion替换为第五代AMD EPYC处理器,并改用Boardfly高速互连网络。这一调整的核心目标是实现“硬件级隔离推理”(confidential, hardware-isolated inference),即在物理层面保障数据与模型执行过程不被外部窥探或篡改,适用于金融、医疗及政府等强监管领域。值得注意的是,TPU 8tx仍保留小规模训练能力,使其可灵活适配需本地微调与推理并行的混合工作流。

与此同时,TPU 8i Max则走另一条技术路径:将两颗TPU 8i芯片封装于单一基板上,形成“双芯合一”的高密度计算单元。根据公开参数推算,其峰值算力约达20.2 PFLOPS(FP4),HBM带宽翻倍至约17,202 GB/s,片上SRAM容量也从单颗的384 MB提升至768 MB。该设计直接服务于“长上下文智能体”(long-context agentic work)场景——随着大模型逐步具备规划、工具调用与多步推理能力,单次推理所需上下文长度常突破百万token,对内存带宽与片上缓存提出极高要求。TPU 8i Max通过内部高带宽互联减少跨芯片数据搬运延迟,从而支撑更复杂的代理式任务链。

谷歌强调,这种“硅片复用+系统重构”的模式大幅缩短了专用系统的交付周期。“我们能在数月内而非数年内推出定制化系统”,该公司在技术说明中指出。这一策略背后,是AI基础设施需求从通用算力向垂直场景深度渗透的趋势。过去几年,云厂商普遍采用“一芯多用”路线,但随着行业客户对安全性、时延确定性与上下文容量提出差异化要求,硬件层的精细化分工成为必然选择。

以安全推理为例,传统方案依赖软件加密或虚拟机隔离,存在侧信道攻击风险;而TPU 8tx所采用的硬件隔离机制,结合AMD EPYC的Secure Encrypted Virtualization(SEV)技术,可在芯片级实现可信执行环境(TEE),确保即使云服务商自身也无法访问用户数据。这与当前欧盟《人工智能法案》、美国NIST隐私增强技术指南等监管框架高度契合。

在智能体方向,TPU 8i Max的出现呼应了业界对“Agent-as-a-Service”架构的探索。OpenAI、Anthropic等公司已开始构建能自主调用搜索、代码执行与记忆检索的复合型AI代理,其推理过程往往涉及数十轮上下文累积与状态维护。常规推理芯片受限于HBM带宽瓶颈,在长序列处理中易出现“内存墙”效应;而8i Max通过双芯片协同,有效缓解了该问题。尽管具体应用场景尚未完全公开,但业内推测其可能率先用于企业级知识库问答、自动化客服流程编排或科研文献综述生成等任务。

值得注意的是,谷歌并未披露TPU 8tx与8i Max的具体上市时间,仅标注为“Coming soon”。考虑到TPU 8t与8i已于2024年中期投入商用,新版本大概率将在2024年底至2025年初逐步交付。此外,谷歌未说明8i Max是否支持热插拔或弹性扩展,但其模块化设计理念暗示未来或可衍生出更多组合形态,例如三芯片封装或异构集成方案。

TPU 8t、8i、8tx与8i Max功能定位图

从产业视角看,谷歌此举加剧了AI芯片领域的“场景化竞争”。英伟达虽凭借CUDA生态占据主导地位,但在特定垂直领域正面临来自定制化ASIC的挑战。亚马逊的Trainium/Inferentia、微软的Maia系列,以及国内华为昇腾、寒武纪思元等厂商,均在推进类似路径:先以通用芯片打开市场,再通过系统级优化切入高价值细分场景。TPU 8tx与8i Max的推出,既是谷歌巩固AI基建护城河的战术动作,也反映出整个行业正从“算力军备竞赛”转向“场景适配效率比拼”。

目前,谷歌TPU服务已接入Vertex AI平台,客户可通过API调用不同规格的TPU实例。随着8tx与8i Max上线,企业用户有望按需选择“安全优先”或“上下文密度优先”的推理资源,进一步降低AI落地门槛。对于开发者而言,这意味着无需深度修改模型架构,即可受益于底层硬件对特定任务的加速优化。

文章配图

TPU产品线的持续演进,本质上是AI模型能力边界拓展的倒逼结果。当大模型从“静态问答”走向“动态决策”,硬件必须同步提供更强的隔离性、更大的上下文窗口与更确定的时延保障。谷歌此次更新虽未引入全新制程或架构创新,却精准切中了当前企业级AI部署的关键痛点——这或许正是其“模块化快速迭代”策略的价值所在。