VELD-QA基准发布，1.5万道人工标注长文档问答，首次拆解检索与阅读能力

当一个长文档问答系统返回 62% 的端到端准确率时，问题出在哪？是检索模块未能定位关键页面，还是大模型即便看到正确页面仍无法提取信息？长期以来，这一困扰 RAG（检索增强生成）开发者的核心痛点，在现有评测基准中始终无解——因为多数基准只提供一个笼统的总分，无法区分错误来源。

这一局面正在被改变。Oracle AI 联合南加州大学（USC）与宾夕法尼亚大学（UPenn）团队近日在 arXiv 发布新基准 VELD-QA（Visual Evidence-based Long Document Question Answering），首次实现对长文档问答中“检索”与“阅读”两个环节的独立量化评估。

VELD-QA 的核心创新在于其精细的人工证据标注体系：每道题均明确标注支撑页编号、页面内具体证据元素（如图表、表格、段落），并辅以对该视觉内容的自然语言描述。这意味着同一问题可按四种方式测试：仅提问（检验先验知识）、直接提供人工标注的黄金页面（检验纯阅读能力）、使用 Top-3 RAG 检索结果（检验检索+阅读联合表现）、或输入全文档（检验长上下文理解）。这种设计使开发者能精准定位瓶颈环节。

图1展示了在 Chart QA 与 Table QA 两类任务中，9 个主流视觉语言模型在不同证据供给条件下的平均准确率。灰色柱为仅提问（Question only），蓝色为 Top-3 RAG，橙色为 All pages（全文输入），绿色为 Gold pages（人工标注支撑页直给）。可见，即使将正确页面直接喂给模型（Gold pages），最高分也仅为 81.7%（Claude Opus 5.5），最低仅 39.1%（Gemma 3 12B IT）。这表明近两成的失败源于模型自身阅读理解缺陷，而非检索失误。

更关键的是，一旦检索环节出错——即未召回黄金页面——模型性能普遍下降约 35 个百分点。例如在 Table QA 中，Claude Opus 5.5 在 Gold pages 下达 81.7%，但在 Top-3 RAG 下骤降至 46.8%。这印证了行业长期经验：检索质量是长文档问答系统的“生死线”。

VELD-QA 的构建规模与严谨性为其可信度提供了坚实基础：共含 15,000 道人工撰写的问答题, 来自 5,859 份真实 PDF 文档，总计 372,445 页。题目按类型分为三类：Chart QA（5,000 题，单页图表解读）、Table QA（5,000 题，跨页表格推理）、Complex Layout QA（5,000 题，图文表混排复杂版面）。其中表格与版面类题目所涉文档平均长度达 102 页，最长一份达 1,798 页，真正模拟企业级长文档场景。

“全人工”是该基准区别于同类工作的核心特征。标注工作由 78 名专业人员分工完成（图表组19人、表格组33人、版面组26人），经历一级全量复审与二级抽样复审；所有表格均逐格转录为电子工作簿，最终形成 1,392 个工作簿、4,178 张工作表；每道题的支撑页中位数仅占全文档页数的 1.7%，构成高精度“针尖靶标”。

为防止模型通过记忆或先验知识作弊，基准还设置了多重防污染机制：不给文档时模型准确率上限为 21.4%（表格题低至 1.6%–4.2%）；训练/开发/测试集按文档级切分，互不重叠；语义重复率仅 2.55%，远低于 MMLongBench-Doc 的 29.43%；任务模式组合达 2,858 种，覆盖推理操作、约束条件与答案形式的丰富组合。

图2揭示了一个实用发现：在 Table QA 任务中，向模型额外提供“元素描述”（Element descriptions，即对表格结构与内容的白话说明）可带来 +5.6 分提升；而若进一步提供完整表格工作簿（Table worksheets），增益可达 +13.2 分。这说明结构化辅助信息对表格理解具有显著价值，也为后续系统优化指明方向——单纯堆砌上下文不如提供精准的语义锚点。

基准还按文档来源领域进行了细分分析。

图3显示，在学术科技类文档中，Top-3 RAG 平均准确率为 62%（n=344），政府行政类为 64%（n=248），而金融报告类表现最弱，仅 17%（n=92）。后者低分主因在于大量嵌套表格、脚注与非标准格式，凸显当前模型对专业领域复杂排版的适应能力仍严重不足。

最后，图4呈现了各模型在“黄金页面召回”层面的表现差异：Claude Opus 5.5 在全部 886 个成功召回黄金页的样本中表现稳定；但 GPT-6 Astra 与 Grok 4.20 在部分样本中出现“黄金页未召回”情况（橙色条），导致整体性能波动较大。值得注意的是，Gemini 2.5 Flash 与 Claude Sonnet 5.5 虽在 Gold pages 下得分中等，但检索稳定性较高，说明轻量级模型在工程落地中可能更具性价比。

VELD-QA 的发布，标志着长文档问答评测进入精细化诊断阶段。过去开发者只能依赖端到端分数“盲调”，如今可依据“检索召回率”与“阅读准确率”双指标定向优化：若前者低，需改进分块策略或向量编码器；若后者低，则应聚焦多模态对齐、结构感知建模或提示工程。

随着企业知识库、法律合同审查、财报分析等场景对长文档理解需求激增，此类可归因的评测基准将成为技术演进的关键基础设施。正如论文作者所言：“一张准确率单，其实混着两种病；现在，我们终于能开对药方了。”

目前，VELD-QA 数据集与代码已开源至 GitHub（oracle-samples/veld-qa），论文编号 arXiv:2610.20964，可供研究者与工程师直接用于模型评估与系统调优。