Kando Data
中EN联系我们

海外软件企业增长质量与汇率判断

CLMR-FIN-FXCALC-005 · 增长口径 · 汇率传导 · 研究底稿可复用

两份增长资料合成一个判断:增长到底由什么驱动、汇率在报表和客户回报上各占多少、这批增长数据还能不能录进投研系统。要点是先把口径和尺度对齐,再谈哪个因素更敏感。

跨境投资增长质量汇率传导数据入库
33 份材料 · 4 张工作表
4 张工作表
16条评分判据
23最长参考轨迹 Agent 回合
1.36M单条轨迹累计 prompt tokens
01

数据特点

交付对象不是底稿原作者

读者是要快速作出研究安排的投资决策者,工作簿要能支持另一位研究员复算,机器可读摘要要能直接录入系统——三份文件服务同一个判断,但各自承担说明、计算和结构化记录。

两份资料,两套口径

业务分组与营收台账、财务序列与季度概览分成两个工作簿,年度与季度、不同币种的数字要先对齐才能比较。

不要把不同尺度的数字直接比大小

倍数的单位变动与汇率的单位变动不是一个量纲,谁更敏感要看弹性而不是看绝对变化。

三模型实测均分 0.5702

三个模型在同一套判据下作答,均分 0.5702,但个体分差接近 0.35——口径和尺度没对齐的模型,后面每一条都跟着错。

02

题面节选

以下为 Agent 实际收到的题面节选(原文照录),用于展示任务设定与约束。

instruction.md · 4,384 chars

你是一家券商跨境财富业务的投资顾问。客户以人民币为本币,通过港股通、QDII 或境外券商账户投资境外标的,汇率变化会同时影响公司报表和客户的实际投资回报。

跨境投资客户正在评估一家海外软件企业的增长质量,并计划将本次材料中的增长数据收录到投研系统。系统中的数字会进入公司跟踪页面、行业比较以及后续研究讨论,因此研究员不仅要给出本次观点,还要形成可以继续维护的分析底稿。

报告需要能够独立阅读,工作簿需要支持另一位研究员复算,机器可读摘要需要支持系统录入。三份文件应服务于同一个判断,但分别承担说明、计算和结构化记录的功能。

NOTE节选自题面,已省略逐条业务问题与交付物字段定义。

03

附件清单

作答容器内可见的全部材料,统计由题包自动生成。原始文件随完整样例包提供。

文件类型规模大小
增长资料_F.xlsx业务分组与营收台账xlsx2 张工作表7 KB
增长资料_K.xlsx财务序列与季度概览xlsx2 张工作表8 KB
材料说明.md材料说明:期间、币种与单位口径md236 字570 B
04

评分设计

16条独立评分判据
15 条得分项1 条扣分项

判据全文、权重与参考答案随完整数据包提供。

16 条判据,全部为二元判定,事实忠实性与论证质量各占 4 条。

  • 16 条判据:15 条正向得分项,1 条扣分项(negate)
  • 每条判据由独立的 Agent judge 逐条判定(individual 模式),可复现、可审计
  • 判分凭据只注入 verifier 环境,作答容器看不到任何评分通道
  • 判据全文与参考答案随完整数据包提供
分析与论证质量4
事实忠实性4
专业规范3
指令遵循2
结论正确性2
数值与计算准确性1
05

模型实测

前沿模型在真实 Agent 框架中的作答轨迹统计。一个回合即一次模型调用;上下文曲线展示长程任务中状态如何持续累积。

模型Agent 回合工具调用累计 prompt tokens峰值上下文作答耗时结果
Claude Opus 4.8Claude Code · Harbor16161.24M99K—完成作答
GPT-5.6-solCodex · Harbor2328822K52K—完成作答
Qwen3.8-MaxClaude Code · Harbor23221.36M82K—完成作答
050K100Kturn 1turn 23
Claude Opus 4.8GPT-5.6-solQwen3.8-Max纵轴:每回合上下文 tokens · 横轴:Agent 回合
06

环境规格

TASK SPECIFICATION
任务 IDCLMR-FIN-FXCALC-005
任务格式Harbor task.toml · schema 1.4
题包版本1.1.0
Agent 时限3 小时
Verifier 时限5 小时
作答容器2 vCPU · 8 GB 内存 · 30 GB 存储
网络仅用于 Agent 框架安装
工具集filesystem · shell · python
判分隔离独立 verifier 容器评分凭据只注入 verifier,作答侧不可见
题面长度4,384 字符
难度分级A2(三模型实测均分 0.5702)
参考解oracle reward 1.000
数据来源真实卖方研究模型(金额缩放、主体脱敏)
Contact

想在自己的平台上跑这道题?

留下联系方式,我们会提供该题的完整样例包(题面、附件、verifier 与参考轨迹),并介绍同类题目的规模与定制方式。

  • 完整题包与 verifier
  • 同子类更多题目
  • 接入与复测支持

关于CLMR-FIN-FXCALC-005 · 海外软件企业增长质量与汇率判断

信息仅用于本次业务沟通。