真实世界的求证需求
用户越来越多地直接问大模型“这条新闻是真的吗”。题目来自专业事实核查机构处理过的真实声明，而不是人工编造的问答。
“免征小费税”为内华达工人省税的说法
FACTCHECK-2350C1D7 · 开放网络事实核验 · 财税政策声明
一位政治人物在经济演讲中声称，“免征小费税”政策让内华达 44 万名小费工人在上个报税季平均省下 1 万美元。模型需要在限定检索预算内找到证据，判断这句话是否成立。
事实核验开放网络检索财税数据英文
5 / 8次搜索 / 次网页阅读
5 万字可见正文上限
4个评分维度 + 6 条封顶规则
3个前沿模型实测
< 65%前沿模型核查标签准确率
01
数据特点
数字要拆开核查
44 万人、1 万美元、一个报税季——每个数字都可能单独成立或不成立，模型需要判断整句话的整体结论。
预算内的检索决策
每题最多 5 次搜索、8 次阅读、5 万字可见正文。先搜什么、读哪篇，直接决定能否找到决定性证据。
时间截止防止事后诸葛
检索结果按声明时间过滤到截止日之前，模型不能靠之后才出现的报道“抄答案”。
02
题面节选
以下为 Agent 实际收到的题面节选（原文照录），用于展示任务设定与约束。
instruction.md · 274 chars
Verify the public claim with the controlled search/read tools and submit a verdict with evidence.
Claim
Because of the 'no tax on tips' policy, 440,000 tipped workers in Nevada saved an average of $10,000 on their taxes in the past filing season.
Context
President Donald Trump made this claim during an economic speech at the Red Rock Casino Resort and Spa in Las Vegas on Aug. 5, 2026.
Evidence cutoff
2026-08-24. Search results are filtered to this date.
NOTE题面为模型收到的全部公开输入；工具定义与提交格式已省略。
03
检索环境
5次搜索（返回网页原文，不含生成式摘要）
8次网页阅读
5 万字可见正文上限
2026.08.24证据截止日，之后的网页被过滤
没有随题附件：证据全部来自模型自己在开放网络上的检索与阅读。完整工具调用记录（搜索词、打开的网页、引用段落）随每次作答保存，可追溯核查过程。
04
评分设计
4个评分维度
+ 6 条封顶规则
判据全文、权重与参考答案随完整数据包提供。
4 个评分维度 + 6 条封顶规则，满分 100，按 score / 100 输出 reward。
- 维度：核查标签正确性、证据支持度、分析质量、表达清晰度
- 证据只认模型实际检索到并引用的网页段落；没有有效引用时总分封顶
- 目标错位、核心推理错误、引用无法核实分别触发独立的分数上限
- 裁判以核查机构的完整分析文章为参考，参考文章与裁判代码随完整数据包提供
05
模型实测
前沿模型在同一检索工具、预算与裁判下的实测结果。
| 模型 | 平均分 / 100 | 平均解题耗时 | 核查标签准确率 |
|---|---|---|---|
| DeepSeek V4 Flash20 道抽样题 · 三模型实测 | 76.76 | 47.2 秒 | 58.8% |
| DeepSeek V4 Pro20 道抽样题 · 三模型实测 | 73.24 | 70.5 秒 | 64.7% |
| Seed20 道抽样题 · 三模型实测 | 70.88 | 94.2 秒 | 64.7% |
同一检索工具、同一预算与同一裁判下的实测。三个模型的核查标签准确率都不到 65%：会搜索、会写理由，不等于判断正确。
06
环境规格
| 任务 ID | FACTCHECK-2350C1D7 |
|---|---|
| 任务格式 | Harbor task.toml · schema 1.4 |
| 题包版本 | 1.0.0 |
| Agent 时限 | 15 分钟 |
| Verifier 时限 | 5 分钟 |
| 作答容器 | 1 vCPU · 512 MB 内存 |
| 工具 | search · open · find · submit受控工具网关执行，Agent 无 shell 与本地文件访问 |
| 检索预算 | 5 次搜索 · 8 次阅读 · 50,000 字可见正文 · 13 轮工具调用 |
| 证据截止日 | 2026-08-24检索结果按截止日过滤 |
| 题面长度 | 274 字符 |
| 所属题库 | FactCheck-200 · 200 题 |
| 检索服务 | Tavily raw_content，按截止日过滤 |
Contact
想在自己的平台上跑这道题？
留下联系方式，我们会提供该题的完整样例包（题面、附件、verifier 与参考轨迹），并介绍同类题目的规模与定制方式。
- 完整题包与 verifier
- 同子类更多题目
- 接入与复测支持