网通社科技快报

腾讯元宝联合KCL发布首个8万条真实群聊构建的智能体记忆基准

腾讯元宝联合伦敦国王学院(KCL)NLP团队正式发布GroupAssistBench,这是首个专为群协作场景设计的智能体记忆评测基准。该基准基于50个真实部署环境中的群聊对话,整合80,299条历史消息,人工构建2,395道评测题目,覆盖事实回忆到开放式服务的完整能力链。其核心创新在于双层评测结构:L1为记忆召回任务(1,374题),要求准确回答明确历史事实;L2为记忆使用任务(1,021题),要求完成具体服务动作,如发出行提醒,需严格遵循共识与成员个性化约束。题目进一步细分为M1单条记忆、M2多记忆整合、M3更新与冲突处理三类,其中M3直指动态协商中决策演化的核心挑战。为保障评测严谨性,每题均标注依赖消息编号与证据片段,并设定历史截止时间点防止模型“作弊式推理”。数据经匿名化与隐私审查,95.8%题目通过多数投票验证有效。实测对比14种主流记忆方案发现:在L1任务中,外部记忆系统EverMemOS得分0.621优于完整上下文(0.570);但在L2任务中其得分骤降至0.247,显著低于完整上下文的0.431,印证“更会回忆并不必然更会服务”的关键断层。该基准填补了现有Agent记忆评测在多人、多轮、动态协商场景建模上的空白,论文与数据集已开源,推动记忆系统从“存储导向”转向“服务导向”,为下一代智能助手提供可复现、可审计的评估基础设施。