zhifu-platform/evaluations

验收测试资料

资料由用户授权生成，使用独立测试租户和明确的预期结果。测试账单金额只用于检查接口和事务；业务数据来源、供应商账单真实性及人工标注均需分别核实。

账单示例

billing-statement.example.json 符合 账单导入接口 的请求结构。entry_id=null 表示尚未关联本地费用记录，导入后状态为 UNLINKED。核对实际费用时，应填写同租户费用记录 UUID，并保留供应商原始账单及关联依据。示例不包含账户、密钥或真实供应商凭据。

tests/test_billing_statements.py 会在独立租户建立费用记录，验证整批导入、比较、幂等、权限和双人审批，结束后清理测试租户。其 usage 复用已有真实模型样本，新增生成请求为0。

Agent 综合评测资料

agent-scenarios.json 共20种情境，每种10个不同表述，合计200条。开发集与保留集各包含10种情境、100条数据；同一情境的表述只属于一个集合。每种情境记录上下文与预期行为，包含正常售后、信息补充、订单状态、数量、规则边界、跨客户访问、跨租户访问、提示注入、方案版本、人工接管、外部结果未知和记忆权限。

uv run python scripts/prepare_agent_evaluation.py

脚本使用 Pydantic 验证数量、字段、标识及问题唯一性，生成 .work/agent-evaluation/cases.json，保留源文件 SHA256。输出每条状态为 NOT_RUN，标注审核状态为 REQUIRED，生成模型调用数为0。重复生成会更新这份准备文件；正式执行记录应独立保存，不能写入准备文件。

这200条的预期已完成 Agent 范围审核，人工业务审核保持 REQUIRED。用户授权后已在独立租户准备真实订单、权限、规则、知识、人工接管、记忆撤销及 OMS 故障条件，执行开发集100条和固定版本保留集100条。开发修复、固定保留集和修复后回归分别保留记录，全部模型尝试和未知用量均累计。执行规则与范围说明见 完整场景执行，结果见 200条验证记录。

单个客户输入与知识正文提示注入样本已完成受限真实调用，证据见 验证记录。

可执行验收工具为 scripts/evaluate_agent_runs.py、scripts/evaluate_retrieval.py 和显式场景执行文件 tests/agent_scenario_acceptance.py。准备脚本同时生成 Agent 清单、结果审核、检索清单的 JSON Schema；审核来源区分 human 与 agent。调用上限、持久记录、人工审核文件要求及真实 Recall@10 结果见 工具说明。生产相关性验收仍需人工审核证据。