总率不能代替任何一列
各入组列有自己的分母，扩与停按列判断；把四个瘤种加总算出一个 25%，恰好掩盖了列间的差异。
跨癌种靶向药篮式收件核定
MED-HER2-BASKET-REVIEW-187 · HER2 篮式试验 · 第八周客观应答 · 分瘤种判定
上一班把四个瘤种并成一篮、按 40 人算出 25% 的总应答率，并据此建议下一窗整体扩组。12 份底表在手，要按各瘤种自己的分母重算完成集合与应答数，判断这一篮能不能整体进下一窗。
临床研究篮式试验客观应答计数口径
1212 份材料
2 万材料字符数
7条评分判据
21最长参考轨迹 Agent 回合
948K单条轨迹累计 prompt tokens
01
数据特点
完成集合要先定义再计数
中心复核是否对上、癌细胞分数、扫描窗口、基线与第八周是否都有可测靶灶、是否服药——五条口径都写在值班夹页里，少一条分母就是错的。
体外证据不能代替病人靶灶
药敏板是过表达井的抑制读数，培养核验是共价结合模型；两者都好看，也不能替代病人的第八周影像。
三模型实测均分 0.4752
三个模型在同一套判据下作答，均分 0.4752。7 条判据、5 正 2 负，两个扣分项都指向「把整篮结论写进锁稿」这类错误。
02
题面节选
以下为 Agent 实际收到的题面节选（原文照录），用于展示任务设定与约束。
instruction.md · 1,278 chars
你在一家分子肿瘤平台的核心实验室工作，负责一个篮式试验的入组核定。上一班留下了一页并篮稿，结论是：本地报告 HER2 或 HER3 改变的 40 名受试者中，第 8 周客观应答 10 人，应答率 25%，因此下一窗按「HER2 / HER3 突变实体瘤」作为一个整体篮子继续扩大入组。
你的任务是核定这一页能不能原样进入下一窗的收件结论。夹子里是这批受试者的全部底表：入组流水、本地变异报告、中心复核、基线与第 8 周靶灶测量、代谢摄取、服药记录、药敏板、培养核验，以及值班夹页上写明的核定口径。
判定要求
- 完成集合与客观应答按值班夹页给出的口径判定，不自行改口径。
- 各入组列各自计算应答率；总率不能代替任何一列。
- 药敏板与培养核验是体外证据，与病人的第 8 周靶灶是两回事，说明时要把两者分开。
本窗只核定收件与分篮判定，不写成任何形式的个人用药建议。
NOTE节选自公开发布用的题面改写版，已省略材料清单表格与交付物字段。
03
附件清单
作答容器内可见的全部材料，统计由题包自动生成。原始文件随完整样例包提供。
| 文件 | 类型 | 规模 | 大小 |
|---|---|---|---|
| 中心复核.csv中心复核的蛋白改变、癌细胞分数与非同义变异负荷 | csv | 48 行 | 2 KB |
| 代谢摄取.csvPET 代谢摄取测量 | csv | 9 行 | 307 B |
| 值班夹页.txt本窗核定口径：完成集合定义、客观应答判定、分篮与扩停规则 | txt | 468 字 | 1 KB |
| 入组流水.csv一人一行：人号、瘤种、入组日、是否在夜班截稿内 | csv | 48 行 | 2 KB |
| 培养核验.csv细胞培养与共价结合模型核验 | csv | 105 行 | 2 KB |
| 基线靶灶.csv基线靶灶最长径（CT / MR） | csv | 45 行 | 1 KB |
| 夜班并篮稿.md夜班那一页的原稿 | md | 319 字 | 675 B |
| 夹页目录.txt11 份夹页的清单与编号 | txt | 131 字 | 229 B |
| 服药记录.csv给药记录 | csv | 48 行 | 1 KB |
| 本地变异.csv本地实验室报告的基因与蛋白改变 | csv | 48 行 | 2 KB |
| 第八周靶灶.csv第 8 周靶灶最长径与扫描日 | csv | 44 行 | 2 KB |
| 药敏板.csv体外药敏板的抑制浓度读数 | csv | 105 行 | 6 KB |
04
评分设计
7条独立评分判据
5 条得分项2 条扣分项
判据全文、权重与参考答案随完整数据包提供。
7 条判据，4 条五档评分 + 3 条二元判定，其中 2 条为扣分项。
- 7 条判据：5 条正向得分项，2 条扣分项（negate）
- 每条判据由独立的 Agent judge 逐条判定（individual 模式），可复现、可审计
- 判分凭据只注入 verifier 环境，作答容器看不到任何评分通道
- 判据全文与参考答案随完整数据包提供
专业规范2
结论正确性1
分析与论证质量1
事实忠实性1
指令遵循1
数值与计算准确性1
05
模型实测
前沿模型在真实 Agent 框架中的作答轨迹统计。一个回合即一次模型调用；上下文曲线展示长程任务中状态如何持续累积。
| 模型 | Agent 回合 | 工具调用 | 累计 prompt tokens | 峰值上下文 | 作答耗时 | 结果 |
|---|---|---|---|---|---|---|
| GPT-5.6-solCodex · Harbor | 16 | 948K | — | 4m 27s | 完成作答 | |
| Claude Opus 4.8Claude Code · Harbor | 27 | — | — | 5m 45s | 完成作答 | |
| Qwen3.8-MaxClaude Code · Harbor | 22 | — | — | 2m 33s | 完成作答 |
06
环境规格
| 任务 ID | MED-HER2-BASKET-REVIEW-187 |
|---|---|
| 任务格式 | Harbor task.toml · schema 1.4 |
| 题包版本 | 1.0.0 |
| Agent 时限 | 20 小时 |
| Verifier 时限 | 5 小时 |
| 作答容器 | 2 vCPU · 8 GB 内存 · 30 GB 存储 |
| 网络 | 仅用于 Agent 框架安装 |
| 工具集 | filesystem · shell · python |
| 判分隔离 | verifier 与作答分阶段运行评分凭据只注入 verifier，作答侧不可见 |
| 题面长度 | 1,278 字符 |
| 难度分级 | A3（三模型实测均分 0.4752） |
| 参考解 | gate 全项 37/37，reward 1.000 |
| 材料规模 | 12 份底表 · 48 名受试者 · 约 20 KB 结构化数据 |
Contact
想在自己的平台上跑这道题？
留下联系方式，我们会提供该题的完整样例包（题面、附件、verifier 与参考轨迹），并介绍同类题目的规模与定制方式。
- 完整题包与 verifier
- 同子类更多题目
- 接入与复测支持