# 验收测试资料

资料由用户授权生成，使用独立测试租户和明确的预期结果。测试账单金额只用于检查接口和事务；业务数据来源、供应商账单真实性及人工标注均需分别核实。

## 账单示例

`billing-statement.example.json` 符合 [账单导入接口](../docs/billing-statements.md) 的请求结构。`entry_id=null` 表示尚未关联本地费用记录，导入后状态为 `UNLINKED`。核对实际费用时，应填写同租户费用记录 UUID，并保留供应商原始账单及关联依据。示例不包含账户、密钥或真实供应商凭据。

`tests/test_billing_statements.py` 会在独立租户建立费用记录，验证整批导入、比较、幂等、权限和双人审批，结束后清理测试租户。其 usage 复用已有真实模型样本，新增生成请求为0。

## Agent 综合评测资料

`agent-scenarios.json` 共20种情境，每种10个不同表述，合计200条。开发集与保留集各包含10种情境、100条数据；同一情境的表述只属于一个集合。每种情境记录上下文与预期行为，包含正常售后、信息补充、订单状态、数量、规则边界、跨客户访问、跨租户访问、提示注入、方案版本、人工接管、外部结果未知和记忆权限。

```powershell
uv run python scripts/prepare_agent_evaluation.py
```

脚本使用 Pydantic 验证数量、字段、标识及问题唯一性，生成 `.work/agent-evaluation/cases.json`，保留源文件 SHA256。输出每条状态为 `NOT_RUN`，标注审核状态为 `REQUIRED`，生成模型调用数为0。重复生成会更新这份准备文件；正式执行记录应独立保存，不能写入准备文件。

这200条的预期已完成 Agent 范围审核，人工业务审核保持 `REQUIRED`。用户授权后已在独立租户准备真实订单、权限、规则、知识、人工接管、记忆撤销及 OMS 故障条件，执行开发集100条和固定版本保留集100条。开发修复、固定保留集和修复后回归分别保留记录，全部模型尝试和未知用量均累计。执行规则与范围说明见 [完整场景执行](../docs/agent-scenario-execution.md)，结果见 [200条验证记录](../docs/verification/agent200-20260922.md)。

单个客户输入与知识正文提示注入样本已完成受限真实调用，证据见 [验证记录](../docs/verification/completion-20260922.md)。

可执行验收工具为 `scripts/evaluate_agent_runs.py`、`scripts/evaluate_retrieval.py` 和显式场景执行文件 `tests/agent_scenario_acceptance.py`。准备脚本同时生成 Agent 清单、结果审核、检索清单的 JSON Schema；审核来源区分 `human` 与 `agent`。调用上限、持久记录、人工审核文件要求及真实 Recall@10 结果见 [工具说明](../docs/verification/evaluation-tools-20260922.md)。生产相关性验收仍需人工审核证据。