长轨迹参考样本
Claude Opus 4.8 在这道题上走了 42 个回合、41 次工具调用，累计 268 万 prompt tokens，是观察长程检索与假设修正的好样本。
某某公司财报异常发现
EDGAR-US-V6-0003-S1 · Stage 1 · SEC 定期报告审计推理
在 15 份 SEC 文件、约 95 万字的离线语料中完成同类审计推理任务；参考轨迹用了 42 个 Agent 回合与 268 万 prompt tokens。
SEC EDGAR异常发现长轨迹英文
1515 份 SEC 文件
95 万材料字符数
5个结果维度
42最长参考轨迹 Agent 回合
2.68M单条轨迹累计 prompt tokens
01
数据特点
同一套工具，不同的公司
每家注册公司一套独立语料与检索服务，按 grouping_key 划分训练与评测，避免同公司跨集泄漏。
推荐审计工作流
题面给出盘点期间、筛查异常形态、定科目与方向、分类、取证的推荐流程，但不指定任何具体科目。
20 类造假分类法
每条发现需要映射到收入、费用、资产、负债、披露和其他六大家族的 20 个子类，描述的是方向而不是指控。
02
题面节选
以下为 Agent 实际收到的题面节选（原文照录），用于展示任务设定与约束。
instruction.md · 15,514 chars
You are a financial statement auditor. You have been given the periodic filings of XX CORP and asked to perform an audit reasoning task.
Suggested audit-reasoning workflow
- Inventory the available periods and identify comparable filings before searching individual facts.
- Screen for observable anomaly shapes: restatement deltas, inconsistent disclosures, unusual account trajectories, policy-versus-result conflicts, omissions, and relationships that fail to reconcile.
- For each candidate, identify the affected account, assertion, transaction class, or disclosure and state the anomaly's direction and period.
- Classify the red flag under the taxonomy. Classification describes the accounting/disclosure consequence the filing pattern is consistent with; it is not a conclusion that fraud occurred.
- Retrieve and cite the filing facts that establish both sides of the pattern. Separate what the filings show from what you infer.
Available material
The offline case library contains 10 periodic reports, 3 supplemental disclosures, and 2 selected exhibits (945,318 characters in total).
NOTE节选自题面，已省略分类表、约束条件与输出结构。
03
检索语料
作答容器内可见的全部材料，统计由题包自动生成。原始文件随完整样例包提供。
10份定期报告（10-K / 10-Q）
3份补充披露（8-K、修订、DEF 14A）
2份精选附件（EX-99 / EX-10 等）
95 万字符语料总量
| 主文档类型（不含附件） | 份数 |
|---|---|
| 10-Q | 7 |
| 8-K | 3 |
| 10-K | 3 |
| DEF 14A | 2 |
语料以独立的只读检索服务提供，作答容器内通过 search → fetch → read 命令访问，不直接挂载原始文件。
04
评分设计
5个结果维度 × 执行因子
判据全文、权重与参考答案随完整数据包提供。
5 个结果维度与标注事件一对一匹配，再乘以执行因子。
- 结果维度：科目、描述、造假类型、期间、原文证据
- 执行因子考察数据幻觉、抗干扰、工具失败与成本
- 硬负例走独立分支：干净的“无发现”满分，报出发现则审查其证据链
- 标签与评分配置只存在于 tests/，作答侧不可见
05
模型实测
前沿模型在真实 Agent 框架中的作答轨迹统计。一个回合即一次模型调用；上下文曲线展示长程任务中状态如何持续累积。
| 模型 | Agent 回合 | 工具调用 | 累计 prompt tokens | 峰值上下文 | 作答耗时 | 结果 |
|---|---|---|---|---|---|---|
| Claude Opus 4.8Claude Code · Harbor, offline | 41 | 2.68M | 92K | 17m 58s | 完成作答 |
该题所属题库的每一道题都附有一条 Claude Opus 4.8 完整参考轨迹（含全部工具调用与思考），轨迹不含标准答案与判分结果。
06
环境规格
| 任务 ID | EDGAR-US-V6-0003-S1 |
|---|---|
| 任务格式 | Harbor task.toml |
| Agent 时限 | 2 小时 |
| 作答容器 | 2 vCPU · 4 GB 内存 |
| 网络 | 完全离线（allowlist 为空） |
| 题面长度 | 15,514 字符 |
| 所属题库 | EDGAR-US v6 · 609 题 |
| 题型 | Stage 1 · 异常发现 |
Contact
想在自己的平台上跑这道题？
留下联系方式，我们会提供该题的完整样例包（题面、附件、verifier 与参考轨迹），并介绍同类题目的规模与定制方式。
- 完整题包与 verifier
- 同子类更多题目
- 接入与复测支持