真实、未裁剪的原始材料
上交所原始 PDF、SEC 注册公司 10-K/10-Q、真实投标成本测算本、完整的虚构诉讼案卷。模型面对的是专业人士每天面对的材料,而不是为模型准备的摘要。
- 单题材料最多 400 万字
- 最多 88 份检索语料文件
- PDF / XLSX / CSV / Markdown 混合
我们为大模型强化学习构建专家级任务环境:真实原始材料、需要长程工具调用的题面、多条可验证判据,以及前沿模型的完整参考轨迹。覆盖金融、法律、医疗与通用办公四大领域,以 Harbor 格式交付,开箱即可接入 RL 训练与评测。
我们挑选的是真实业务里有明确交付物、有专业判断、有标准可核验的任务。三模型实测中,投行估值题均分仅 0.324,量化工程题前沿模型盲跑 0.14——奖励信号有充足的上升空间。
上交所原始 PDF、SEC 注册公司 10-K/10-Q、真实投标成本测算本、完整的虚构诉讼案卷。模型面对的是专业人士每天面对的材料,而不是为模型准备的摘要。
每道题都需要检索、计算、写代码、改文件、反复核对。参考轨迹记录了前沿模型的完整作答过程,最长超过 80 个回合、累计数百万 prompt tokens。
每道题都有多条独立判据或确定性 grader,含扣分项与能力门控。硬编码、空提交和模板化答案拿不到分;判分凭据与作答容器隔离。
每个领域下按子领域划分,每个案例单独成页。点击领域进入 RL 环境总览中对应的一节。
难度等级按多模型实测均分标定,而不是出题人的自评。实测中发现“无区分度”的判据会被替换,发现可投机的路径会加入扣分项。
从真实业务与公开披露取得原始材料,去除泄题信息,保留专业工作中真实存在的干扰与口径冲突。
领域专家按真实工作流写题面:只给目标与约束,不给解法;标注能力标签、复杂度与弱点标签。
编写多维判据或确定性 grader,用 oracle 验证满分可达,用空程序、硬编码与对抗样本验证不可投机。
用多个前沿模型在真实 Agent 框架中实跑,按实测均分定难度等级,据失分点加固判据。