一份 PDF，没有第二个来源
全部数字都要从同一份英文审计报告里取，报告没披露的只能写「报告未披露」——不能引外部数据，也不能自行估算。
土地审裁处追加经费中期评估
GEN-AD6-001 · 81 页审计报告 · 案件量勾稽 · 续拨建议
四个财年约 2,900 万加元的追加经费要评估是否继续拨。材料只有审计长一份 81 页绩效审计报告，要从中取齐收案、结案、待结三个口径，按部里两条惯例判定，并写明每个数字的出处与口径差异。
绩效评估审计报告案件量勾稽拨款建议
11 份 PDF · 81 页
81 页PDF 原件页数
16条评分判据
41最长参考轨迹 Agent 回合
3.40M单条轨迹累计 prompt tokens
01
数据特点
口径本身就是判断
审计长核实的口径与机构年报口径可能不同；取哪一套、为什么，要写在「口径与基数」一节里，混用会让结论站不住。
两条惯例必须逐条判定
结案率是否达到 100%、待结案件数是否不高于资助开始时——任一条不满足就要建议暂停并附整改方案，不能给一个笼统的「继续支持」。
三模型实测均分 0.5300
三个模型在同一套判据下作答，均分 0.5300。英文长篇审计报告里的口径切换，是这道题最常见的失分点。
02
题面节选
以下为 Agent 实际收到的题面节选（原文照录），用于展示任务设定与约束。
instruction.md · 1,322 chars
你是安大略省总检察长部财务规划处的分析员。省政府在四个财年给一家土地审裁机构追加了约 2,900 万加元经费，目的是加快争议处理、清理积案。现在部里要做中期评估，决定剩余两年的追加经费是否继续拨付。
你手上的材料是审计长办公室年度报告中关于该机构的绩效审计报告，需要据此编制一份案件量核对清单，并给出是否继续拨付的建议。
部里的中期评估惯例
资助期前两个完整财年同时满足以下两条的，建议继续拨付；任一条不满足的，建议暂停拨付并要求该机构提交整改方案。
- 两年累计结案数 ÷ 两年累计收案数 ≥ 100%；
- 第二个财年末的待结案件数不高于资助开始时的待结案件数。
只使用报告中披露的数据；报告没有披露的，写「报告未披露」，不得自行估算或引入报告以外的数据。
NOTE节选自题面，已省略交付物的分节标题与精度要求。
03
附件清单
作答容器内可见的全部材料，统计由题包自动生成。原始文件随完整样例包提供。
| 文件 | 类型 | 规模 | 大小 |
|---|---|---|---|
| OAGO_2024_Ontario_Land_Tribunal.pdf审计长办公室年度绩效审计报告全文（英文，81 页） | 81 页 | 2.0 MB |
04
评分设计
16条独立评分判据
15 条得分项1 条扣分项
判据全文、权重与参考答案随完整数据包提供。
16 条判据，15 条二元判定 + 1 条五档评分，数值准确性与事实忠实性各占 4 条。
- 16 条判据：15 条正向得分项，1 条扣分项（negate）
- 每条判据由独立的 Agent judge 逐条判定（individual 模式），可复现、可审计
- 判分凭据只注入 verifier 环境，作答容器看不到任何评分通道
- 判据全文与参考答案随完整数据包提供
数值与计算准确性4
事实忠实性4
结论正确性3
专业规范2
指令遵循1
结构与组织1
分析与论证质量1
05
模型实测
前沿模型在真实 Agent 框架中的作答轨迹统计。一个回合即一次模型调用；上下文曲线展示长程任务中状态如何持续累积。
| 模型 | Agent 回合 | 工具调用 | 累计 prompt tokens | 峰值上下文 | 作答耗时 | 结果 |
|---|---|---|---|---|---|---|
| GPT-5.6-solCodex · Harbor | 36 | 3.40M | — | — | 完成作答 | |
| Claude Opus 4.8Claude Code · Harbor | 17 | 682K | 62K | — | 完成作答 | |
| Qwen3.8-MaxClaude Code · Harbor | 17 | — | — | — | 完成作答 |
06
环境规格
| 任务 ID | GEN-AD6-001 |
|---|---|
| 任务格式 | Harbor task.toml · schema 1.4 |
| 题包版本 | 1.0.0 |
| Agent 时限 | 20 小时 |
| Verifier 时限 | 5 小时 |
| 作答容器 | 2 vCPU · 8 GB 内存 · 30 GB 存储 |
| 网络 | 仅用于 Agent 框架安装 |
| 工具集 | filesystem · shell · python |
| 判分隔离 | 独立 verifier 容器评分凭据只注入 verifier，作答侧不可见 |
| 题面长度 | 1,322 字符 |
| 难度分级 | A2（三模型实测均分 0.5300） |
| 参考解 | gate 全项 111/111，reward 1.000 |
| 材料规模 | 1 份 81 页英文 PDF · 2.0 MB |
Contact
想在自己的平台上跑这道题？
留下联系方式，我们会提供该题的完整样例包（题面、附件、verifier 与参考轨迹），并介绍同类题目的规模与定制方式。
- 完整题包与 verifier
- 同子类更多题目
- 接入与复测支持