错误分三层
有的是表内两列加不平，有的是正文与统计表对不上，有的是相邻年度之间的结转数出现断点——三类问题要用不同的排查方法，靠通读找不到。
省级部门政府信息公开年报抽查
GEN-CN5-001 · 12 份年度报告 · 表内勾稽 · 三类处理意见
四个部门、三个年度、共 12 份年度报告，按国办年报格式通知逐份审核：查出表内勾稽不成立、正文与统计表不一致、上年结转断点，再把每份报告落到「可直接汇总 / 需补充说明 / 需更正后重新发布」之一。
政务公开年报审核跨表勾稽处置意见
1313 份材料
7 万材料字符数
15条评分判据
41最长参考轨迹 Agent 回合
2.63M单条轨迹累计 prompt tokens
01
数据特点
结论必须可执行
「需更正」不能只写部门名，要写明年份、表项和应为多少；只到部门层面、不落到表项的处置意见会被判不合格。
12 份报告，不能抽查一半
每份报告都要有结论，遗漏任何一份都会丢分；这是任务完整性而不是工作量的问题。
三模型实测均分 0.3968
三个模型在同一套判据下作答，均分 0.3968，是这批里最低的一题。12 份报告都要落到结论，漏一份就丢分。
02
题面节选
以下为 Agent 实际收到的题面节选（原文照录），用于展示任务设定与约束。
instruction.md · 1,771 chars
你是某省人民政府办公厅政务公开处的工作人员。按国办公开办函〔2021〕30号年报格式通知中「各政府信息公开工作主管部门应当加强对年度报告的审核把关」的要求，处里在汇总全省年度政府信息公开工作年度报告之前，抽查了四个省级部门三个年度的年度报告，共 12 份。
请你依据年报格式通知和各部门报告，逐份审核这 12 份报告，形成抽查底稿和抽查意见，交处领导审定。
抽查意见要讲清楚
- 哪些报告可以直接纳入汇总；
- 哪些需要部门补充说明；
- 哪些需要部门更正后重新发布；需要更正的，要写明更正哪一年的报告、哪一项、应为多少。
只依据源文件中的内容下结论；源文件没有的信息写「源文件未披露」，不要推测原因或补造数据。
NOTE节选自题面，已省略 13 份源文件清单表格与交付物的列结构要求。
03
附件清单
作答容器内可见的全部材料，统计由题包自动生成。原始文件随完整样例包提供。
| 文件 | 类型 | 规模 | 大小 |
|---|---|---|---|
| 01_西岭省公安厅2023年政府信息公开工作年度报告.md | md | 5,514 字 | 12 KB |
| 02_西岭省公安厅2024年政府信息公开工作年度报告.md | md | 5,613 字 | 13 KB |
| 03_西岭省公安厅2025年政府信息公开工作年度报告.md | md | 5,516 字 | 12 KB |
| 04_西岭省财政厅2023年政府信息公开工作年度报告.md | md | 5,067 字 | 11 KB |
| 05_西岭省财政厅2024年政府信息公开工作报告.md | md | 5,179 字 | 12 KB |
| 06_西岭省财政厅2025年政府信息公开工作报告.md | md | 5,196 字 | 12 KB |
| 07_西岭省交通运输厅2023年政府信息公开工作年度报告.md | md | 5,169 字 | 12 KB |
| 08_西岭省交通运输厅2024年政府信息公开工作年度报告.md | md | 5,234 字 | 12 KB |
| 09_西岭省交通运输厅2025年政府信息公开工作年度报告.md | md | 6,261 字 | 14 KB |
| 10_西岭省农业农村厅2023年政府信息公开工作年度报告.md | md | 5,530 字 | 12 KB |
| 11_西岭省农业农村厅2024年政府信息公开工作年度报告.md | md | 5,014 字 | 11 KB |
| 12_西岭省农业农村厅2025年政府信息公开工作年度报告.md | md | 4,884 字 | 11 KB |
| 13_政府信息公开工作年度报告格式.md国办公开办函〔2021〕30号《政府信息公开工作年度报告格式》通知全文 | md | 3,577 字 | 10 KB |
04
评分设计
15条独立评分判据
14 条得分项1 条扣分项
判据全文、权重与参考答案随完整数据包提供。
15 条判据，14 条二元判定 + 1 条五档评分，结论正确性占 5 条。
- 15 条判据：14 条正向得分项，1 条扣分项（negate）
- 每条判据由独立的 Agent judge 逐条判定（individual 模式），可复现、可审计
- 判分凭据只注入 verifier 环境，作答容器看不到任何评分通道
- 判据全文与参考答案随完整数据包提供
结论正确性5
数值与计算准确性4
分析与论证质量2
指令遵循2
专业规范1
事实忠实性1
05
模型实测
前沿模型在真实 Agent 框架中的作答轨迹统计。一个回合即一次模型调用；上下文曲线展示长程任务中状态如何持续累积。
| 模型 | Agent 回合 | 工具调用 | 累计 prompt tokens | 峰值上下文 | 作答耗时 | 结果 |
|---|---|---|---|---|---|---|
| GPT-5.6-solCodex · Harbor | 33 | 2.63M | — | — | 完成作答 | |
| Claude Opus 4.8Claude Code · Harbor | 28 | 888K | 104K | — | 完成作答 | |
| Qwen3.8-MaxClaude Code · Harbor | 23 | — | — | — | 完成作答 |
06
环境规格
| 任务 ID | GEN-CN5-001 |
|---|---|
| 任务格式 | Harbor task.toml · schema 1.4 |
| 题包版本 | 1.0.0 |
| Agent 时限 | 20 小时 |
| Verifier 时限 | 5 小时 |
| 作答容器 | 2 vCPU · 8 GB 内存 · 30 GB 存储 |
| 网络 | 仅用于 Agent 框架安装 |
| 工具集 | filesystem · shell · python |
| 判分隔离 | 独立 verifier 容器评分凭据只注入 verifier，作答侧不可见 |
| 题面长度 | 1,771 字符 |
| 难度分级 | A3（三模型实测均分 0.3968） |
| 参考解 | gate 全项 84/84，reward 1.000 |
| 材料规模 | 13 份 Markdown 材料 · 4 个部门 × 3 个年度 |
Contact
想在自己的平台上跑这道题？
留下联系方式，我们会提供该题的完整样例包（题面、附件、verifier 与参考轨迹），并介绍同类题目的规模与定制方式。
- 完整题包与 verifier
- 同子类更多题目
- 接入与复测支持