Dropbox升级Riviera平台,支持AI工作负载与多格式内容处理

Dropbox 将其内部内容处理平台 Riviera 升级为支持 AI 工作负载的通用基础设施,可处理超过 300 种文件格式并执行数十万次每秒转换。该平台通过模块化设计和异步 API 开放能力,正在...

人工智能

近日,Dropbox 宣布对其内部内容处理平台 Riviera 进行重大升级,使其从一个专注于文件预览的服务演变为支持 AI 工作负载的通用内容处理基础设施。这一升级标志着 Dropbox 在构建灵活、可扩展的内容处理能力方面迈出了重要一步。

Riviera 最初是 Dropbox 内部用于跨文件格式生成预览的服务。工程师们采用了一种创新的方法,将内容处理分解为可复用的转换单元,而不是为每个文件格式创建单独的处理服务。例如,PowerPoint 预览可以通过将演示文稿转换为 PDF,再将 PDF 页面转换为图像来生成。这些转换单元可以组合成更复杂的处理管道,从而实现高效的内容处理。

在架构上,Riviera 采用了中心组件负责请求验证、管道组合、任务分派和缓存管理,而各个工作进程则实现特定的转换能力。这种插件式设计允许在不更改核心编排层的情况下增加新的功能。当前,Riviera 每秒能够执行数十万次转换,并支持 Search、Replay、Sign 和 Dash 等多种内容处理场景。

此次升级的关键在于 Riviera 对 AI 工作负载的支持。Dropbox 表示,该平台已经广泛应用于 AI 处理场景,包括链式转换、内容向量化以及用于 AI 驱动的摘要和问答功能。通过缓存中间结果,多个 AI 操作可以复用先前生成的内容,从而提高效率。

为了进一步扩大影响力,Dropbox 正在通过公共 API 开放 Riviera 的部分能力。开发者文档详细描述了如何使用异步接口将文档转换为 Markdown、转录音频和视频,以及提取结构化元数据。这些功能特别适用于索引、渲染和作为大语言模型的输入。

值得注意的是,Riviera 不同于传统的通用提取框架(如 Apache Tika),它将转换插件与管道组合、异步执行、缓存管理和集中式编排相结合。这种设计使得 Riviera 在处理复杂内容时更加灵活和高效。

Riviera 架构示意图

目前,Riviera 已经被集成到 Dropbox 的产品和核心界面中,并开始出现在外部开发者工具中。例如,一位 Dropbox 社区开发者发布了 conductor-dropbox,这是一个开源的 Conductor OSS 和 Orkes 集成组件,专门用于文档和 RAG(检索增强生成)工作流。

随着 AI 技术的快速发展,内容处理平台的重要性日益凸显。Dropbox 的这一升级不仅提升了自身的产品能力,也为外部开发者提供了一个强大的工具集,有助于推动整个行业的创新和发展。