01
Introduction
02
The Benchmark
03
Evaluation Rubrics
04
Experiments and Results
六模型评测结果。
Claude Opus 5 在问题召回、证据召回、精确率和 F1 四项核心质量指标上均取得当前最高结果。
| # | 模型 | F1_I | R_I | R_E | P_I | 报告定位 | 完成 |
|---|
Agent 执行统计。
三组新增模型在 100 个成功任务上的运行轨迹汇总。
| 模型 | 任务数 | 输入 token | 输出 token | 工具调用 | 每题工具调用 | 平均耗时 |
|---|---|---|---|---|---|---|
| Claude Opus 4.8 | 100 | 67,311,793 | 1,735,302 | 2,336 | 23.36 | 325.08 s |
| Claude Opus 5 | 100 | 162,349,695 | 3,267,538 | 4,149 | 41.49 | 640.43 s |
| gpt-5.6-sol | 100 | 139,980,194 | 1,378,395 | 9,449 | 94.49 | 224.80 s |
Claude 的输入 token 为有效上下文规模(含缓存创建与读取);Codex 的输入 token 已包含缓存子集,不能重复相加。工具调用按各模型事件中的 tool use / command execution 统计。
05
From Benchmark to Environment
06