小E智能体编造教材信息致学员误解 企业采用RAG四步法实现答案可追溯

某教育App上线智能体小E第三天即出现严重误导事件：学员询问“启明英语口语课几级”，小E答“六级每级12课时”，实际仅四级每级16课时；另有关于退费规则的回答称“超7天按剩余课时80%退”，而制度原文明确为“收5%手续费”，80%纯属捏造。复盘确认，相关内容未在训练语料中，模型依赖语言模式“合理编造”，语法流畅却高度失真。

为根治此类幻觉问题，团队引入RAG（检索增强生成）技术，构建四步工程链路：①切片——先按标题粗分章节，再依标点细切保语义完整，标注文件与小节编号；②向量化——采用哈希或API将文本转为向量，确保语义相近则向量相近；③召回——问题向量化后计算余弦相似度，取Top-3片段，设阈值0.25过滤低相关项，召回为空则强制拒答；④带片段回答——将召回内容拼入提示词，指令模型仅依据资料作答并标注出处编号如[1]。

同时设定两条硬规则：一是召回为空时必须回复“暂未找到依据，请联系人工客服”，禁用模糊表述；二是所有结论编号须经后台校验映射真实文档，若编号越界（如回答含[7]但仅提供3份资料），整条回答标记为“编造”并转入人工复核。该方案已覆盖40个测试用例，包括错别字、跨文档查询等边界场景，在离线环境稳定运行。