Kando Data
联系我们
GENERAL FINANCIAL WORK ENVIRONMENT

把真实金融工作流,变成可验证的 Agent 环境。

Kando Data 正在构建一套面向真实金融办公任务的通用环境,以文档、证据、结构化输出和可验证奖励为统一底座,支持审计、财务 QA、报表勾稽和披露核验等高难度工作流。财务报表审计是当前重点验证场景:任务需要跨年度阅读长篇财报,进行跨表勾稽,形成风险判断,并用原文证据完成可复核的结论。

REAL-WORLD WORKFLOW EVIDENCE-GROUNDED RL-READY REWARDS
01

Introduction

02

The Benchmark

03

Evaluation Rubrics

04

Experiments and Results

六模型评测结果。

Claude Opus 5 在问题召回、证据召回、精确率和 F1 四项核心质量指标上均取得当前最高结果。

按 F1_I 排序 · 百分比
#模型F1_IR_IR_EP_I报告定位完成

Agent 执行统计。

三组新增模型在 100 个成功任务上的运行轨迹汇总。

模型任务数输入 token输出 token工具调用每题工具调用平均耗时
Claude Opus 4.810067,311,7931,735,3022,33623.36325.08 s
Claude Opus 5100162,349,6953,267,5384,14941.49640.43 s
gpt-5.6-sol100139,980,1941,378,3959,44994.49224.80 s

Claude 的输入 token 为有效上下文规模(含缓存创建与读取);Codex 的输入 token 已包含缓存子集,不能重复相加。工具调用按各模型事件中的 tool use / command execution 统计。

05

From Benchmark to Environment

06

Conclusion and Limitations

FINFRAUD-CN / CASE STUDIES

FinFraud-CN Case Studies

从监管真值、跨期证据链和模型行为出发,观察真实财务审计 agent 如何发现问题、组织证据,以及为什么合理的审计怀疑仍可能在 benchmark 中不得分。

PILOT100 / SELECTED CASES03代表性案例Kando Data · 2026.08.10

三个案例,三种审计难度。

案例选择覆盖跨年度证据链、多科目高密度问题和非数值的合并判断。它们共同展示:模型不仅要找到异常,还要把问题、期间、主体、金额和原文证据组织成同一条可复核链路。

案例核心难点报告数GT issuesOpus 4.8
R_I / R_E
Opus 5
R_I / R_E
gpt-5.6-sol
R_I / R_E

案例背后的共同机制。

三个案例合在一起,形成从多科目覆盖、证据门控到非数值会计判断的能力剖面。合理风险不等于 benchmark 命中,最终输出必须少而强。

01 / DIAGNOSIS

找到问题,仍不等于完成审计。

最好的模型也会在多问题、长文档场景中提前收敛。证据链完整性和全局覆盖仍是当前环境的核心压力测试。

零命中案例R_I = 0
Opus 5 仍有 24 个案例完全没有命中真实问题。
证据召回为零R_E = 0
问题识别之后,证据证明仍有明显长尾。
真实问题越多,完整覆盖越难OPUS 5 · R_I
单 issue 案例召回达到 84%,进入 3-issue 案例后降至 29.33%。
02 / TASK MAP

FinFraud-CN 只是第一项任务。

通用环境围绕同一套文档、证据、结构化输出和奖励接口,逐步覆盖真实财务审计工作中的多个难点环节。