RAG检索效果量化测评系统落地，完整流程与指标实现解析

在构建智能问答系统时，检索模块的性能直接影响用户体验和业务价值。然而，传统的主观判断方式（如“肉眼看结果”）难以准确衡量检索效果的好坏，也无法回答诸如“检索结果是否真正命中标准答案”“向量检索与关键词检索的贡献度”等关键问题。为此，在辞溯知识库项目二期中，我们成功落地了一套完整的RAG检索效果量化测评系统，实现了从数据准备到可视化分析的全流程闭环。

一、整体测评流程标准化

该测评系统的核心逻辑是将检索过程转化为可量化的指标体系。整个流程包括四个主要阶段：

数据集准备：通过轻量级JSON格式定义每条测试用例，包含唯一ID、用户问题、人工标注的标准切片ID以及Top-K参数；

自动检索执行：基于知识库和预设策略，同时进行向量语义检索和关键词全文检索；

指标计算与记录：对比召回结果与标注切片，计算Precision@K、Recall@K、MRR、nDCG@K等核心指标，并保存至数据库；

可视化展示：通过管理端页面或命令行输出，支持大盘指标监控和单用例细节排查。

系统提供了两种使用模式：适用于快速调参对比的命令行离线评测，以及支持长期记录和分析的管理端页面评测。

二、评测数据集设计与避坑要点

评测系统的可靠性完全依赖于数据集的质量。我们采用结构化的JSON数组格式，每条记录包含case_id、question、relevant_chunk_ids和k字段。其中，relevant_chunk_ids必须严格匹配数据库中的真实切片ID，否则会导致指标计算失败。这一设计避免了因ID不一致导致的误判，确保了评测结果的准确性。

三、混合检索核心实现

项目采用了向量语义检索与Postgres全文关键词检索相结合的双路混合方案。具体实现如下：

首先对用户问题进行向量化处理，用于语义检索；

同时执行关键词检索，获取相关文档片段；

将两路结果按chunk_id合并去重，并根据最终分值排序；

输出Top-K结果用于后续指标计算。

代码层面，通过async def hybrid_search_with_trace函数实现了上述逻辑，其中向量检索部分优先考虑有效、已发布且未删除的文档切片，确保了检索结果的时效性和准确性。

四、关键指标与优化方向

在实际应用中，我们发现以下几点值得注意：

Precision@K和Recall@K能够直观反映检索的准确性和覆盖度；
MRR（Mean Reciprocal Rank）和nDCG@K则更关注结果的相关性排序；
混合检索中向量与关键词的权重分配需要根据具体业务场景动态调整；
数据集的多样性直接影响评测结果的普适性，建议包含不同领域、不同复杂度的测试用例。

未来优化方向包括：引入更多维度的评估指标（如响应时间、资源消耗），以及探索基于大模型的自动化评测方法。

图1展示了RAG检索效果测评系统的实际运行界面，左侧为数据输入区域，右侧为详细的评测结果展示，包括各项指标的具体数值和排名情况。