腾讯元宝联合KCL发布GroupAssistBench,首个基于8万条真实群聊构建的智能体记忆评测基准
腾讯元宝与伦敦国王学院NLP团队合作推出GroupAssistBench,基于50个真实群聊、80,299条消息构建2,395道评测题,首次区分“记忆召回”(L1)与“记忆使用”(L2)能力,揭示智能...
智能体在群聊场景中常陷入一种尴尬境地:它能准确复述“最初约定5月1日出发”,却在执行购票提醒时仍按旧日期通知——记忆被完整保留,服务却严重偏离实际需求。这一现象暴露出当前Agent记忆系统的核心缺陷:记忆的存储与有效调用之间存在巨大鸿沟。
为系统性检验这一问题,腾讯元宝联合伦敦国王学院(King’s College London, KCL)NLP团队正式发布GroupAssistBench,这是首个专为群协作场景设计的智能体记忆评测基准。该基准基于50个真实部署环境中的群聊对话,共收录80,299条历史消息,人工构建2,395道评测题目,覆盖从事实回忆到开放式服务的完整能力链条。
GroupAssistBench的创新在于其双层评测结构:L1为“记忆召回”任务,要求模型准确回答明确的历史事实,如“最初商定哪天出发”;L2为“记忆使用”任务,要求模型完成具体服务动作,例如“帮大家发出行与购票提醒”,答案无固定措辞,但必须严格遵循已达成的共识与成员个性化约束(如靠窗座位偏好、预算限制等)。两类题目分别达1,374道与1,021道,构成对智能体记忆能力的完整检验。
更进一步,研究团队依据信息依赖关系将题目细分为三类:M1单条记忆(仅需一条消息即可作答)、M2多记忆整合(需交叉验证多条发言)、M3更新与冲突处理(识别旧决定是否被新提议取代,判断哪些成员约束仍具效力)。其中M3最具挑战性,直接对应现实群聊中动态协商的本质特征——决策并非静态快照,而是随讨论持续演化的结果。
为确保评测有效性,团队设计了严格的“记忆锚点”机制:每道题均标注其依赖的具体消息编号与证据片段,并设定历史截止时间点,防止模型利用提问后出现的信息进行“作弊式推理”。所有数据经匿名化与隐私审查,抽样核验显示95.8%题目通过多数投票判定为有效。
在实证测试中,研究团队对比了14种主流记忆配置方案,包括完整上下文输入、检索增强生成(RAG)及外部记忆系统(如EverMemOS)。结果揭示出一个关键反差:在L1记忆召回任务中,EverMemOS得分0.621,优于完整上下文的0.570;但在L2开放式服务任务中,其得分骤降至0.247,显著低于完整上下文的0.431。
这一发现印证了核心论点:更会回忆,并不必然更会服务。单纯提升记忆召回率无法解决智能体在真实协作场景中的失效问题。真正的挑战在于“语义理解—意图推断—约束校验—行动生成”的闭环能力,而不仅是信息检索的精度。
论文已公开于arXiv,配套代码与数据集同步开源,为后续研究提供可复现的评估基础设施。该工作填补了现有Agent Memory评测体系的关键空白——此前多数基准聚焦于单轮问答或简单事实回溯,缺乏对多人、多轮、动态协商场景的建模。
值得注意的是,GroupAssistBench的构建逻辑与近期行业趋势高度呼应。喧喧推出的“企业通讯智能工作台”正试图解决类似问题:将群聊中的碎片信息转化为可核验、可追溯、可执行的工作成果,强调“AI整理初稿,人最终核对”的协同范式;而补充素材中提及的“Agent版arXiv”实验则从另一角度凸显记忆与因果链的重要性——936个AI科学家在12周内产出近千篇论文,其可信度依赖于强制附带的“声明账本”(Claim Ledger),即每个结论均可追溯至原始数据与计算路径。
这指向一个更深层共识:智能体要从“工具”升级为“助手”,关键不在知识广度或响应速度,而在能否建立可判责、可复算、可审计的执行依据。正如补充材料所指出,组织真正需要的不是“解释得通顺的复盘”,而是“同一输入下,换人换部署仍能重算出相同结论”的确定性。
腾讯元宝此次发布的GroupAssistBench,正是朝此方向迈出的实质性一步。它不再满足于衡量“是否记得”,而是追问“记得之后如何正确行动”。在群协作日益成为AI落地主战场的当下,这一基准有望推动记忆系统从“存储导向”转向“服务导向”,为下一代智能助手提供更可靠的评估标尺。
