Kando Data
中EN联系我们

分区因子库的事务恢复

FACTOR-STORE-RECOVERY-0001 · WAL 崩溃恢复 · 最小增量重算 · exactly-once

修复一个真实行情数据驱动的分区因子库:处理供应商修订、删除与跨分区移动,在任意阶段注入崩溃后仍要恢复到一致状态,并且只重写受影响的分区。

数据工程事务协议Python隐藏测试集
1313 份材料 · 15,900 行数据
150 万材料字符数
11项程序化检查
—最长参考轨迹 Agent 回合
0.14前沿模型盲跑 reward
01

数据特点

真实数据,生产级约束

底层是 A 股真实行情快照:15,613 行初始因子、8 个批次共 423 个 v1/v2/v3 混合事件,需要 60 交易日滚动因子与 Decimal 全精度。

故障注入,而不是单元测试

评分器在 8 阶段事务状态机的指定阶段注入崩溃,检查 WAL、staging 与 checkpoint 的持久化边界,区分未提交、部分提交与已提交未确认。

硬编码拿不到分

隐藏集使用不同日期、证券与故障点。空程序、starter 和只硬编码公开结果的提交在冷启动验收中均为 0 分,12 / 12 项验收检查通过。

前沿模型盲跑 0.14

GPT-5.6-sol 独立盲跑仅得 0.1405:持久化做对了,但 MOVE/墓碑、滚动重算与两类恢复全部失分。区分度来自真正的工程难点。

02

题面节选

以下为 Agent 实际收到的题面节选(原文照录),用于展示任务设定与约束。

instruction.md · 4,053 chars

/app/repo 是按 trade_date/hash_bucket 分区的因子库。它接收供应商修订、删除、自然键移动和 schema 升级,并维护 60 交易日滚动因子。当前实现会在崩溃、批次重放和跨分区移动时损坏状态,而且每批都全量重算。请修复工程。

事件语义

  • v1 使用 factor/value_date/score,迁移到 factor_name/trade_date/value;v2 与 v3 相同但没有 new_symbol/new_trade_date。
  • 事件按 (revision, received_at, source_priority, event_id) 决胜;获胜 DELETE 是持久 tombstone,旧修订不得使数据复活。
  • MOVE 只有在其排序键同时胜过旧自然键和新自然键当前获胜记录/墓碑时才整体生效;否则两端都不得改变。
  • event_id 全局 exactly-once;同批和跨批重复都必须记录但不能再次生效。

事务协议

每批状态机固定为 READ → VALIDATE → PLAN → STAGE_RAW → STAGE_DERIVED → STAGE_MANIFEST → COMMIT → CHECKPOINT。评分器会注入一次故障。启动时必须根据 WAL 区分“未开始提交”“部分提交”“已提交但 checkpoint 未确认”,并完成回滚或前滚。不得只删除 staging 后重放一个可能已经部分提交的 MOVE。

最小更新

只有内容发生变化的 raw/derived 分区允许被替换;未影响分区的 SHA256、inode 和 mtime 必须保持不变。禁止通过重写相同内容规避。同一事件流的 clean run、任一故障恢复和重复运行必须得到相同逻辑状态。

时限

Agent 答题总时限为 1 小时,包含阅读题目、修改代码、本地测试和最终检查。只用 Python 标准库,禁止联网。

NOTE节选自题面,已省略状态文件与输出产物的 schema 定义。

03

附件清单

作答容器内可见的全部材料,统计由题包自动生成。原始文件随完整样例包提供。

文件类型规模大小
batch_order.json批次提交顺序json112 字112 B
batches/ (8 个文件)v1 / v2 / v3 混合事件批次jsonl423 行104 KB
calendar.csv交易日历csv204 行3 KB
initial_raw.csv初始原始因子csv15,613 行1.3 MB
source_policy.csv供应商优先级csv3 行50 B
symbol_exchange.csv证券 — 交易所映射csv80 行1 KB

另附 starter 工程 /app/repo(5 个文件,约 99 行 Python),需在其基础上修复。

04

评分设计

11项程序化检查
+ 3 层能力门控 / 分数上限

判据全文、权重与参考答案随完整数据包提供。

11 项程序化检查 + 3 层能力门控,全部由确定性 grader 计算,不依赖 LLM 判官。

  • 11 项检查覆盖 schema 与 Decimal、冲突与墓碑、exactly-once、原子 MOVE、滚动因子、最小重算、两类崩溃恢复、幂等与审计
  • 隐藏核心门控、恢复能力上限与掌握度上限:缺失任一核心能力,总分被封顶
  • 参考解在两个随机种子下均为 1.0;空程序、starter、硬编码公开结果均为 0
  • grader、隐藏输入与参考解随完整数据包提供
05

模型实测

前沿模型在真实 Agent 框架中的作答轨迹统计。一个回合即一次模型调用;上下文曲线展示长程任务中状态如何持续累积。

0.1405GPT-5.6-sol 独立盲跑 reward(effort medium)
1.000参考解 reward(两个随机种子)
0空程序 / 仅硬编码公开结果
12 / 12冷启动验收检查通过

盲跑为单智能体顺序作答,候选冻结后才由私有 grader 评分。持久化能力组接近满分,MOVE/墓碑、滚动重算、语义摄取与两类恢复能力组均为 0。

06

环境规格

TASK SPECIFICATION
任务 IDFACTOR-STORE-RECOVERY-0001
任务格式Harbor task.toml · schema 1.4
题包版本1.4.0
Agent 时限1 小时
Verifier 时限15 分钟
作答容器2 vCPU · 2 GB 内存
题面长度4,053 字符
难度分级hard(盲跑 0.1405)
参考解两个 seed 均 reward 1.000
数据来源A 股真实行情快照 + 合成事务事件层
Contact

想在自己的平台上跑这道题?

留下联系方式,我们会提供该题的完整样例包(题面、附件、verifier 与参考轨迹),并介绍同类题目的规模与定制方式。

  • 完整题包与 verifier
  • 同子类更多题目
  • 接入与复测支持

关于FACTOR-STORE-RECOVERY-0001 · 分区因子库的事务恢复

信息仅用于本次业务沟通。