5.12 全链路运行与对照实验

现在回到本章第一问：多一路图召回，究竟改善了什么？ 不能只展示一段好看的答案。需要让同一批原始资料、同一套问题、同一个生成服务，分别经过三种检索方式，比较最终送入模型的证据。

一、把实验变量固定下来

配套数据包含 31 份模拟文档、22 个节点（食材、商品、店员等）、27 条关系事实、18 道评估题，同时包含“甜品店”与隔离的“另一门店”两个知识域。三种检索都从同一份 corpus.jsonl 获得原文，图增加的是关系组织，不能偷偷给图模式另一份包含标准答案的长文。

模式	输入的检索通道	主要用于观察
`milvus`	稠密＋稀疏	第四章能力在同一资料上的基线
`graph`	实体定位＋图关系＋原文	关系证据的覆盖，以及纯文本问题的局限
`hybrid`	稠密＋稀疏＋图	融合是否保留各自优势

重排序模型、原文块预算与最终字符预算保持相同。图包可以包含多份原文，因此不能简单按“12 个图包”与“12 个文本块”比较信息量；应该核对唯一原文数量和最终上下文长度。

二、不要只准备“图一定擅长”的题

题号	问题要点	它在检查什么
q01	草莓用完，列出受影响商品与中间关系	1～3 跳影响范围是否完整
q03	草莓缺货为何影响双人下午茶	3 跳跨文档路径
q04	所有商品与套餐、店员及通知位置	需要 9 份来源的完整性压力题
q07	招牌蛋糕由谁制作	简单单跳题，向量可能已足够
q09	“鲜草莓”没了为何影响“双人茶点”	别名与多跳路径
q10	外带蛋糕需要哪些包装用品	纯文本问题，检验融合是否保留向量能力
q12	巧克力饼干不使用草莓的配方	阴性证据与边界
q13 / q14	未知商品 / 能否认定采购员漏订	无答案处理与因果边界

这些题都有对应的来源标识和核对答案。评估不要求答案逐字一致，而要看事实、关系、引用与边界是否符合资料。

三、先验证工程，再测检索，最后看答案

python -m graph_qa health
python -m graph_qa ingest
python -m graph_qa retrieve \
  --question "新鲜草莓缺货，哪些商品和套餐可能受到影响？请列出完整的依赖路径。" \
  --mode hybrid --scope 甜品店

随后运行配套评估脚本。先省略生成阶段观察证据，再运行包含生成的完整对照：

python -m evaluation_graph.run_evaluation --retrieval-only \
  --output ../../验证结果/graphrag-retrieval.json

python -m evaluation_graph.run_evaluation \
  --output ../../验证结果/graphrag-evaluation.json

如需先做一轮课堂演示，增加 --questions q01,q03,q04,q10,q13。完整实验按配套18题执行，实际结果在下方运行记录中给出。先做只检索的比较，可以减少生成随机性，也便于直接发现少了哪份原文；再选完整题集或代表题调用生成服务，审阅最终回答。

四、指标怎样读，才不会被一个百分比误导

必要证据召回率回答“标准依据中有多少进入最终上下文”；完整证据命中回答“这一题所需依据是否全部到齐”。q04 需要九份来源，拿到八份已有较高召回率，但仍可能漏掉一个商品的通知对象，所以两项必须一起看。

本实现的关系事实覆盖按“最终入选原文支持哪些标注事实”计算，三种模式使用同一映射，向量结果不需要附带图路径字段也能得到同样的事实分数。它不能单独证明模型正确连接了路径；路径含义还要人工核对。引用编号检查只能发现未知编号；答案关键词覆盖是可重复的粗筛信号，不等价于语义正确率。再结合人工审阅、响应时间和异常状态，才能形成结论。

五、从某一道题看到图的具体收益

课堂讲解顺序：先看同一题 Milvus 最终入选哪些文本；圈出缺少的中间依赖或店员记录；再看图通道通过哪条路径补到了它；最后检查融合有没有把新增证据保留下来。收益必须对应一个具体缺口，而不是“图的分数更高”。

如果某些简单题没有提升，这也是合理结果。若某个图问题仍然失败，沿实体定位、路径查询、来源回填、排序预算、生成这条链定位原因。只有在基线可解释后，才值得增加通道路由、向量起点后图扩展等优化实验。

六、从本项目迁移到别的业务

配方关系可以换成“零件—组件—产品”，店员可以换成“供应商”，影响范围就变成供应链追溯；也可以换成“制度—适用岗位—审批角色”，连接跨制度的办理证据。可迁移的是稳定实体、明确关系、可追溯来源和公平评估，不是照搬本例实体名。

完成检查：学生能否解释一个 3 跳答案的每条边来自哪里？能否说明图检索在包装用品等纯文本题上为什么可能没有帮助？能否通过关闭图通道复现实验差异？回答这些问题后，再进入第六章，把本章的路径和引用纳入更完整的 RAG 评估体系。

5.12.md 5.5 KB Histórico Raw