福建本地 IT 供需连接器 · 覆盖 9 地市
FJ 福建IT网 FJITW.COM

行情资讯

行情资讯

AI 记得住却用不对:腾讯元宝×KCL 用 8 万条群聊做了一份 Agent 记忆考卷

福建IT网2026-11-22阅读 509
AI 记得住却用不对:腾讯元宝×KCL 用 8 万条群聊做了一份 Agent 记忆考卷
腾讯元宝与伦敦国王学院 NLP 团队发布 GroupAssistBench,基于 50 个真实群聊、80,299 条历史消息构建 2,395 道题。数据显示,记忆召回得分更高的外部记忆系统,真实服务得分反而更低。这篇讲清 L1/L2 两层评测差异,以及福建企业做客服与群助手该照做的四步。

AI 记得住却用不对:腾讯元宝×KCL 用 8 万条群聊做了一份 Agent 记忆考卷

一、先说结论

11 月 21 日,腾讯元宝与伦敦国王学院 NLP 团队联合发布了 GroupAssistBench,这是首个基于真实群聊构建的 Agent 记忆评测基准。

一句话结论:现在很多企业 AI 助手的问题,不是"记不住",而是"记住了却用不对"。福建中小企业如果准备把客服、群助手、办公机器人交出去,先别急着买更贵的模型,先把"记忆怎么用、谁说了算"这条规则写清楚。

二、这次到底变了什么

这次评测用的是 50 个真实群聊、80,299 条历史消息,构建了 2,395 道题,比较了完整上下文、检索增强、外部记忆等 14 组配置。其中最值得看的一个反差是:

对比对象L1 记忆召回得分L2 开放式服务得分
EverMemOS0.6210.247
完整上下文(同一任务模型)0.5700.431

同一个外部记忆系统,回忆事实的分数更高,但真正把事办成的分数反而更低。更会回忆,并不等于更会服务。

几个关键数据(均为量子位报道的论文/官方口径):

  • L1 记忆召回题 1,374 道,L2 记忆使用题 1,021 道
  • 抽样核验中 95.8% 的题目经多数投票判定有效
  • 人工核验 60 道 L2 题、180 份回答共 1,152 项准则判断,自动评判与人工多数票一致率 89.3%
  • 追踪 497 条配对记忆:L1 已召回但 L2 未被有效使用的记忆中,约 36% 根本没进入 L2 模型输入,其余约 64% 进了输入却没被判定有效应用
  • 干预实验:关系证据整理(RER)让 LightMem 的 L2 平均分提高 6.28 个百分点;服务约束绑定(ACB)让 xMemory、EverMemOS 分别提高 3.94 和 3.16 个百分点;两者组合后 LightMem、xMemory、EverMemOS 相对各自基线分别提高 7.03、4.64、4.43 个百分点

论文已在 arXiv 公开(编号 2611.0486),代码与数据集同步开放。

三、福建企业真正能用在哪

  1. 企业微信/钉钉群里的报价与排产助手。群里最典型的坑是"日期改了但助手还按旧日期提醒"。按 L2 的逻辑,助手输出前必须显式绑定"当前有效的最终决定",而不是检索到什么就说什么。
  2. 客服知识库问答。客服场景正是 L1 强、L2 弱的典型:能检索到条款,不等于能按条款把客户问题结掉。知识库要补的不是更多文档,而是"这个条款适用于谁、什么条件失效"。
  3. 售后与工单跟进。同一客户的历史记录里,谁提过要求、谁做了承诺、哪条已经作废,必须能区分,否则一次错误催收或重复派单就消耗掉一次信任。
  4. 门店与渠道群的日常协同。福建制造与批发群里大量"只是提议"和"已经拍板"混在一起,助手要学会只认已生效的那条。
  5. 内部制度问答助手。制度改版后旧条款仍在检索结果里,是所有内部助手的通病。

四、可照做的四步

  1. 先做记忆清单。把企业要留给 AI 的记忆列出来,每条标注:谁提出的、什么时间、什么时候失效、由谁确认有效。
  2. 区分"召回"和"使用"两套验收指标。不要只测"能不能搜到",要单独出 20 到 30 道带服务目标的题,比如"把最终日期和某位成员的座位要求一起写进提醒"。
  3. 给关键历史加约束标记。类似论文里的 ACB 思路,把"事实"升级为带主体、范围、有效状态的约束,输出前先做一次有效性与冲突检查。
  4. 留一条人工纠正入口。用户纠正一次,就沉淀一条偏好规则,下一次同类事项自动照做。这是把"隐式强化"变成企业可运营的机制。

五、三个坑

  • 坑一:把"检索准确率"当成"业务完成率"。上面 EverMemOS 的 0.621 对 0.247 就是活例子,只测前者会让你误以为系统够用了。
  • 坑二:记忆越多越乱。旧决定和新决定并存时不做冲突处理,助手越勤快越容易出错。
  • 坑三:拿公开基准当验收。论文指标是通用群聊场景,企业自己的业务约束必须自己出题、自己验收。

六、什么时候上、什么时候别上

该上:知识库和群助手已经有稳定问法、决策相对收敛、有人愿意维护记忆清单的团队。

先别上:业务规则每天都在变、决策链还没跑顺、或者指望助手替代人的审批动作的时候。记忆再准,也替不了没人拍板的事。

真正值得抄的不是某套框架,而是那个反差:能把事记住的系统很多,能把记住的事用对的系统很少。

—— 福建IT网 · 行情资讯

有采购需求?

发一条,同城认证商家来报价。

免费发布

在福建做 IT 生意?

入驻接询盘,按城市与类目派单。

申请入驻