加载中…

命中分析

命中分析基于对话日志中的知识库检索结果统计 RAG 命中率,让你看清每次回答检索得准不准——是诊断知识库效果最直接的工具。本轮若已调用技能并返回结果(查到或明确未查到),记为强命中、Top 分 1,不再按知识库检索分去补知识。

命中分析为旗舰版(Ultra)能力。子账号还须在 系统管理 → 用户管理 → 开通功能 中勾选「命中分析」;只勾「对话日志」看不到本菜单。

三种命中类型

平台按检索结果的语义相似度(余弦)与可调阈值 θ 把每轮回答分为三类:

类型 含义
强命中 语义相似度(余弦)≥ θ,检索到了足够相关的问答
弱命中 有检索结果,但语义相似度低于 θ
未命中 没检索到相关内容

顶部还会汇总「有效命中率」(语义相似度 ≥ θ 的轮次占比)与弱命中数量。

口径说明:2026-06-21 起启用本口径(余弦相似度)。该日之前的历史轮次因缺少可比对的相似度字段,不纳入命中率统计。技能出站成功或返回「未查到」视为工作已完成,强命中、Top 分记 1;缺参追问或调用失败仍按检索分。

怎么用

  1. 进入 会话管理 → 命中分析。
  2. 调整阈值 θ、时间范围,或按问题 / AI 回复 / 追问内容搜索。
  3. 看列表里每轮的类型、Top 分、用户问题、AI 回复摘要。
  4. 对未命中 / 弱命中的轮次,直接跳转知识库补充对应问答。

已知偏差

短问句的余弦相似度会被系统性低估(问法与入库问句长度悬殊时压低分数,与语义是否匹配无关)。例如「价格怎么算」余弦约 0.543、「钢板:序列号」约 0.502,仍可能是正确命中。因此弱命中里会混入一部分其实答对了的短问法——这是本口径的固有偏差,不宜单靠调高 θ 来掩盖。

优化闭环

命中分析定位弱点 → 到知识库补问答 → 智能对话验证 → 再看命中分析。坚持这个闭环,有效命中率会稳步提升。

常见诊断

现象 对策
大量未命中 知识库缺内容,补对应问答
普遍弱命中 问答措辞与真实问法不匹配,调整问题表述或补多版本问法;短问法参见上方「已知偏差」
强命中但答错 问题在提示词或模型,调智能体 / 换模型

相关阅读