OpenAIGPT-6.1SolCOBOL迁移准确率达97.9%,低资源语言编程能力显著提升

OpenAI发布针对COBOL等低资源编程语言的新评测,GPT-6.1 Sol在COBOL代码迁移任务中准确率从5.4%跃升至97.9%,MultiLangBench测试中20种语言平均通过率达87....

人工智能

OpenAI近期公布了一项面向“低资源编程语言”的系统性能力评估,核心成果是其最新模型GPT-6.1 Sol在COBOL代码迁移任务中实现97.9%的准确率——这一数字较上一代GPT-5.6 Sol的5.4%提升了近18倍。该进展标志着AI编程能力正从主流语言(如Python、JavaScript)向支撑关键基础设施的“古董级”语言实质性延伸。

文章配图

COBOL诞生于1959年,至今仍在全球金融核心系统中承担大量交易处理任务。IBM数据显示,全球约70%的银行交易、信用卡清算及ATM后台依赖COBOL运行。这些系统往往已稳定服役30年以上,原始开发者离职、文档缺失、业务逻辑隐含于代码之中,使得任何修改都面临极高风险。传统迁移路径成本高昂:重写需数年周期与数千万美元投入,而直接维护则难以应对安全漏洞与合规更新需求。

为量化AI在此类场景的能力边界,OpenAI设计了两项评测框架。第一项为MultiLangBench,要求模型在20种编程语言中从零构建一个兼容SQLite的数据库引擎。该任务远超单文件代码生成,需持续管理状态、处理异常、保证功能不退化,并通过统一数据库接口进行回归验证。结果显示,GPT-6 Astra在20种语言上的平均测试通过率为87.4%,显著高于GPT-5.6 Sol的26.8%。其中,OCaml从25.6%提升至85.8%,Fortran从21.4%升至83.5%,Visual Basic从27.5%增至89.4%;COBOL虽仍为最难语言,但也从10.9%提升至72.1%。

第二项评测更具现实意义:将真实COBOL程序迁移至C++、Java、Kotlin、Python或Rust,同时严格保持原有业务行为一致。例如,在金融金额计算中,COBOL采用定点数运算与特定舍入规则,若迁移后语义偏差0.01分,即可能导致账目失衡。此项评测中,GPT-6.1 Sol在低推理强度下准确率达86.6%,在提高推理强度后达到97.9%,接近评测设定的理论上限。值得注意的是,该模型在同等准确率下API成本较前代降低39%,而轻量版GPT-6 Luna在MultiLangBench中平均通过率40.3%,API成本降幅达78%。

图中清晰呈现四款模型(GPT-6.1 Sol、GPT-6 Sol、GPT-5.6 Sol、GPT-6 Astra)在COBOL迁移任务中的性能-成本权衡曲线。GPT-6.1 Sol(橙色星标线)在约1.5美元/次测试成本时即突破86%准确率,随后快速趋近97.9%平台期;而GPT-5.6 Sol(橙色圆点线)即使成本升至4美元以上,准确率仍未超过65%。GPT-6 Astra(蓝色星标线)虽整体性能更高,但在COBOL单项上略逊于GPT-6.1 Sol,反映模型架构针对特定任务的优化差异。

技术层面,此次突破源于三方面改进:一是对低频语言语料的针对性增强训练,包括爬取历史代码仓库、政府公开系统源码及学术项目;二是引入“行为一致性约束”机制,在生成目标语言代码时强制校验输入输出映射关系;三是采用多阶段推理流程,先解析原COBOL逻辑结构,再分模块生成目标语言实现,并通过自验证循环修正错误。

然而,高评测准确率不等于生产可用。OpenAI在报告中明确指出:当前结果基于受控测试集,未涵盖真实企业环境中常见的复杂依赖、非标准扩展语法或硬件耦合逻辑。例如,部分COBOL系统直接调用大型机I/O指令或与JCL作业控制脚本深度绑定,此类上下文难以被纯语言模型捕捉。此外,迁移后的代码需经静态分析、单元测试、集成测试及业务专家审查,尤其涉及资金结算、合规审计等场景。

行业影响正在显现。多家金融机构已启动试点项目,尝试用AI辅助COBOL缺陷修复与模块化重构。某欧洲银行披露,其使用类似技术将一个12万行COBOL报表模块迁至Java,开发周期从预估的14个月缩短至5周,但最终上线前仍由3名资深COBOL工程师耗时6周完成逐行比对与边界案例验证。另一家保险公司在压力测试中发现,AI生成代码在极端日期(如2100年2月29日)处理上存在逻辑遗漏,凸显业务规则显性化的必要性。

值得留意的是,OpenAI同步开源了MultiLangBench的完整评测代码与测试套件,允许开发者复现结果并提交新语言支持。此举意在推动社区共建低资源语言能力基线,避免AI进步仅集中于热门技术栈。目前已有研究团队基于该框架扩展至PL/I、ALGOL等更小众语言。

从产业视角看,AI对遗留系统的介入并非替代开发者,而是改变工作模式:工程师从“逐行解读汇编式COBOL”转向“定义迁移规则+验证行为一致性”。这类似于编译器前端的工作流——人类提供语义规范,机器负责语法转换。长期来看,若AI能稳定维持95%以上的迁移准确率,企业可将重心从“能否迁移”转向“如何分阶段替换”,从而降低技术债务累积速度。

OpenAI并未宣称现有模型已完全解决遗留系统问题,但其数据表明:曾经被视为AI盲区的低资源语言,正快速进入可工程化应用的范围。下一步挑战在于构建跨系统上下文理解能力,例如关联COBOL程序与下游DB2数据库 Schema、JCL调度配置及CICS事务定义——这已超出单一代码生成范畴,指向更复杂的软件系统建模任务。