coding-agent/GraphRAG增强版_20260920/course-source/lessons/6.4.md

6.4 图增强检索的专项评估

前面三节介绍通用 RAG 评估，本节接入第五章的真实数据。对于多跳问题，仅看“回答听起来像标准答案”不够，还需要判断完整证据链是否进入上下文。

{{figure:12-eval|图 6-1　把证据完整性与通用回答质量放在同一个对照实验里。}}

一、为每道题标出必要证据

questions.json 中同时保存 expected_fact_ids 与 expected_chunk_ids。前者标注必要关系事实，后者标注支撑原文。计分时从最终选中的原文映射到对应事实，使向量结果和图结果使用同一把尺子；不把“必须带图路径字段”作为得分条件。对没有图关系的政策题，关系列表可以为空，仍然能够评估文本证据。

{
  "id": "q03",
  "expected_fact_ids": [
    "f-tea-cake", "f-cake-sauce",
    "f-sauce-strawberry"
  ],
  "expected_chunk_ids": [
    "menu-tea:v1:c01", "recipe-cake:v1:c01",
    "recipe-sauce:v1:c01"
  ]
}

这是 q03 的评估字段节选，完整题干与标准回答在配套文件里。评估依据不能交给检索器当知识文档；否则等于把试卷答案放进待查资料。

二、分开观察“候选曾经出现”和“最终进入模型”

如果图通道找齐了三份来源，融合后却只留下两份，最终生成仍可能失败。因此主指标应针对最终上下文，候选层的覆盖用来排查问题。

{{snippet:evaluation-metrics}}

先解释集合交集和分母，再运行计算。必要证据为空的题不能用除零或强行满分掩盖，需要按题型定义无答案与文本对照的检查方法。

三、结果按题型拆开报告

{{runtime:evaluation}}

先看多跳题，再看简单单跳、纯文本、别名和边界题。总体平均值可能掩盖一种退步：图题改善，却把纯文本题挤出了预算。融合系统要用分组结果判断是否值得保留这个通道。

关键词覆盖只做机器可重复的提示，不能叫“答案语义准确率”。引用合法率也不等于引用支持率。人工审阅至少抽查 q01、q03、q04、q10 和因果边界题，并记录依赖方向、遗漏对象、店员位置与证据措辞。

四、给优化保留同一把尺子

增加路由或调整最大跳数后，沿用相同题集、模型和上下文预算再次运行。记录质量、耗时、图通道启用率与漏召回情况，避免只比较一个优化前的坏例子和一个优化后的好例子。第七章把已经验证的检索能力接到原 FAQ 与 API 入口。