5.12.md 5.5 KB
5.12 全链路运行与对照实验
现在回到本章第一问：多一路图召回，究竟改善了什么？ 不能只展示一段好看的答案。需要让同一批原始资料、同一套问题、同一个生成服务，分别经过三种检索方式，比较最终送入模型的证据。
一、把实验变量固定下来
{{figure:12-eval|图 5-17 三种模式使用相同资料与预算，比较证据完整性、回答和成本。}}
配套数据包含 31 份模拟文档、22 个节点（食材、商品、店员等）、27 条关系事实、18 道评估题，同时包含“甜品店”与隔离的“另一门店”两个知识域。三种检索都从同一份 corpus.jsonl 获得原文，图增加的是关系组织，不能偷偷给图模式另一份包含标准答案的长文。
| 模式 | 输入的检索通道 | 主要用于观察 |
|---|---|---|
milvus |
稠密＋稀疏 | 第四章能力在同一资料上的基线 |
graph |
实体定位＋图关系＋原文 | 关系证据的覆盖，以及纯文本问题的局限 |
hybrid |
稠密＋稀疏＋图 | 融合是否保留各自优势 |
重排序模型、原文块预算与最终字符预算保持相同。图包可以包含多份原文，因此不能简单按“12 个图包”与“12 个文本块”比较信息量；应该核对唯一原文数量和最终上下文长度。
二、不要只准备“图一定擅长”的题
| 题号 | 问题要点 | 它在检查什么 |
|---|---|---|
| q01 | 草莓用完，列出受影响商品与中间关系 | 1～3 跳影响范围是否完整 |
| q03 | 草莓缺货为何影响双人下午茶 | 3 跳跨文档路径 |
| q04 | 所有商品与套餐、店员及通知位置 | 需要 9 份来源的完整性压力题 |
| q07 | 招牌蛋糕由谁制作 | 简单单跳题，向量可能已足够 |
| q09 | “鲜草莓”没了为何影响“双人茶点” | 别名与多跳路径 |
| q10 | 外带蛋糕需要哪些包装用品 | 纯文本问题，检验融合是否保留向量能力 |
| q12 | 巧克力饼干不使用草莓的配方 | 阴性证据与边界 |
| q13 / q14 | 未知商品 / 能否认定采购员漏订 | 无答案处理与因果边界 |
这些题都有对应的来源标识和核对答案。评估不要求答案逐字一致，而要看事实、关系、引用与边界是否符合资料。
三、先验证工程，再测检索，最后看答案
python -m graph_qa health
python -m graph_qa ingest
python -m graph_qa retrieve \
--question "新鲜草莓缺货，哪些商品和套餐可能受到影响？请列出完整的依赖路径。" \
--mode hybrid --scope 甜品店
随后运行配套评估脚本。先省略生成阶段观察证据，再运行包含生成的完整对照：
python -m evaluation_graph.run_evaluation --retrieval-only \
--output ../../验证结果/graphrag-retrieval.json
python -m evaluation_graph.run_evaluation \
--output ../../验证结果/graphrag-evaluation.json
如需先做一轮课堂演示，增加 --questions q01,q03,q04,q10,q13。完整实验按配套18题执行，实际结果在下方运行记录中给出。先做只检索的比较，可以减少生成随机性，也便于直接发现少了哪份原文；再选完整题集或代表题调用生成服务，审阅最终回答。
{{runtime:evaluation}}
四、指标怎样读，才不会被一个百分比误导
{{snippet:evaluation-metrics}}
必要证据召回率回答“标准依据中有多少进入最终上下文”；完整证据命中回答“这一题所需依据是否全部到齐”。q04 需要九份来源，拿到八份已有较高召回率，但仍可能漏掉一个商品的通知对象，所以两项必须一起看。
本实现的关系事实覆盖按“最终入选原文支持哪些标注事实”计算，三种模式使用同一映射，向量结果不需要附带图路径字段也能得到同样的事实分数。它不能单独证明模型正确连接了路径；路径含义还要人工核对。引用编号检查只能发现未知编号；答案关键词覆盖是可重复的粗筛信号，不等价于语义正确率。再结合人工审阅、响应时间和异常状态，才能形成结论。
五、从某一道题看到图的具体收益
{{runtime:comparison}}
课堂讲解顺序：先看同一题 Milvus 最终入选哪些文本；圈出缺少的中间依赖或店员记录；再看图通道通过哪条路径补到了它；最后检查融合有没有把新增证据保留下来。收益必须对应一个具体缺口，而不是“图的分数更高”。
如果某些简单题没有提升，这也是合理结果。若某个图问题仍然失败，沿实体定位、路径查询、来源回填、排序预算、生成这条链定位原因。只有在基线可解释后，才值得增加通道路由、向量起点后图扩展等优化实验。
六、从本项目迁移到别的业务
配方关系可以换成“零件—组件—产品”，店员可以换成“供应商”，影响范围就变成供应链追溯；也可以换成“制度—适用岗位—审批角色”，连接跨制度的办理证据。可迁移的是稳定实体、明确关系、可追溯来源和公平评估，不是照搬本例实体名。
完成检查：学生能否解释一个 3 跳答案的每条边来自哪里？能否说明图检索在包装用品等纯文本题上为什么可能没有帮助？能否通过关闭图通道复现实验差异？回答这些问题后，再进入第六章，把本章的路径和引用纳入更完整的 RAG 评估体系。