Kando Data
联系我们
US SEC FILING AUDIT ENVIRONMENT

把美国 SEC 财报审计,变成可验证的 Agent 环境。

EDGAR-US v5 是一套面向美国 SEC 财报的审计推理基准:Agent 拿到一家上市公司的定期报告(10-K/10-Q)加同公司的补充披露库(8-K、修订、DEF 14A、精选 exhibit),以财务审计师的身份在离线语料中定位财报可观察的异常形态,用原文证据支撑每一个发现,并检验良性替代解释。

CASE-BOUND RETRIEVAL EVIDENCE-GROUNDED 7-DIM REWARD
01

Introduction

02

The Benchmark

03

Evaluation Rubrics

04

Experiments and Results

六模型评测结果。

在 EDGAR-US v5 的十个 SEC 案例上,六个模型以统一 judge(gpt-5.6-terra)评出稠密 reward。

按 reward 排序 · 均值
#模型rewardRE
EDGAR-US v5 / CASE STUDIES

EDGAR-US v5 Case Studies

从监管真值、财报证据链和模型行为出发,观察真实财务审计 agent 如何发现异常、组织证据,以及为什么合理的审计怀疑仍可能在 benchmark 中不得分。

TEN SEC CASES / SELECTED03代表性案例Kando Data · 2026.08.31

三个案例,覆盖好、中、差三档表现。

案例按模型表现分档:一档接近满分(好)、一档中游(中)、一档接近零分(差)。它们共同展示:模型不仅要找到异常,还要把会计科目、方向、期间、原文证据和替代解释组织成同一条可复核链路。

案例核心难点档位GT signalssol
reward
terra
reward
glm-5.3
reward

案例背后的共同机制。

三个案例合在一起,形成从证据门控、替代解释到输出精度跨档位的能力剖面。合理风险不等于 benchmark 命中,最终输出必须少而强。

01 / DIAGNOSIS

找到问题,仍不等于完成审计。

六个模型在十个案例上的结果质量仍有明显差距:最好的一档能完整覆盖证据链,最弱的一档在关键案例上几乎不得分。

零命中案例R = 0
多个模型在部分案例上完全没有命中真实 signal。
证据维度偏低filing_evidence
问题识别之后,证据证明仍是普遍的短板。
模型间奖励分布MEAN REWARD
glm-5.3 当前均值最高,各模型在 hard-negative 案例上差异显著。
02 / TASK MAP

EDGAR-US 是第二个任务。

通用环境围绕同一套文档、证据、结构化输出和奖励接口,逐步覆盖真实财务审计工作中的多个难点环节。