腾讯云发布AIDLC平台,打通数据到Agent全流程效率提升80%
在人工智能技术快速发展的背景下,企业构建AI应用面临着数据处理流程复杂、资源调度困难等痛点。近日,腾讯云宣布推出全新智能数据湖计算平台AI DLC(Data Lake Compute),旨在为企业提供...
在人工智能技术快速发展的背景下,企业构建AI应用面临着数据处理流程复杂、资源调度困难等痛点。近日,腾讯云宣布推出全新智能数据湖计算平台AI DLC(Data Lake Compute),旨在为企业提供从数据处理到Agent应用的一站式解决方案。
AI DLC的核心创新在于其统一计算平台架构。传统AI开发流程中,数据清洗和加工通常使用Spark完成,结果存储后再由AI团队通过Ray框架进行训练和推理。这种跨平台操作不仅增加了数据搬运成本,还导致权限管理和资源分配复杂化。而AI DLC通过将Spark与Ray运行在同一平台,实现了数据、算力和权限的共享,使数据处理完成后可直接进入训练和推理环节,无需跨平台传输。
据腾讯云介绍,AI DLC采用Serverless架构设计,能够根据任务需求秒级弹性伸缩计算资源,并按实际使用时长计费。这一特性使得企业无需预先预留和维护固定集群,有效降低了运维成本。同时,AI DLC将CPU、GPU、TPU等异构资源纳入统一管理池,根据不同任务类型动态分配资源,任务结束后自动释放并重新分配给其他作业,整体资源利用率可提升数倍。
为提升计算效率,AI DLC搭载了腾讯云自主研发的Meson向量化计算引擎和Xpark多模态计算引擎。Meson兼容Spark API、SQL语法及生态组件,在标准测试中查询性能提升3.6倍,部分复杂查询最高加速5倍,CPU使用率下降近一半;Xpark则针对文档、图片和音视频等多模态数据,提供50多种多模态和大模型算子,相比开源方案推理吞吐量提升3倍,GPU利用率可长期接近100%。
在应用场景方面,AI DLC特别针对Agent开发进行了优化。Agent运行过程中产生的轨迹、记忆和反馈数据可沉淀至数据湖,经过处理和后训练后持续反哺Agent系统。平台同时通过MCP、Skills和Open API开放能力接口,让WorkBuddy、CodeBuddy等Agent可以直接调用数据处理、训练和分析功能,形成闭环的数据与训练流水线。
以腾讯内部的WorkBuddy为例,接入AI DLC后,其处理同一批数据的端到端时间缩短80%,完成相同任务所需算力约为此前的五分之一。在自动驾驶领域,博世测试车辆每天产生大量视频和传感器数据,通过AI DLC实现数据处理、推理和部分训练任务的统一调度,目前已沉淀200多个推理模板,每天处理上万个推理任务,持续提升自动驾驶数据闭环效率。
随着企业AI应用从模型阶段向Agent阶段演进,数据平台也正从支撑数据分析升级为支撑Agent持续运行和迭代。在AI DLC之外,腾讯云已围绕Agent-Ready构建了覆盖基础引擎、统一控制面和上层Data Agent的完整数据平台能力,助力企业加快数据资产向智能应用转化。
专家表示,AI DLC的发布标志着企业在构建AI基础设施方面迈出了重要一步。通过打通数据处理到Agent应用的全流程,该平台不仅显著提升了开发效率,也为AI技术在更多场景的落地提供了坚实基础。