传言源自中文社交媒体
声明来自一条简体中文 X 帖子，证据却多在西班牙语和英语媒体中，模型要自己决定检索语言与关键词。
“西班牙将用人民币取代美元”的说法
FACTCHECK-25786D41 · 开放网络事实核验 · 跨语种金融传言
美西贸易摩擦期间，一条中文社交媒体帖子称西班牙宣布用人民币取代美元。模型需要跨语种检索官方表态与权威报道，判断这条金融传言的真伪。
事实核验金融传言跨语种英文
5 / 8次搜索 / 次网页阅读
5 万字可见正文上限
4个评分维度 + 6 条封顶规则
3个前沿模型实测
< 65%前沿模型核查标签准确率
01
数据特点
先界定声明的范围
谁宣布、宣布了什么、是否已成为正式政策——核查要求先把声明拆清楚，再逐项找证据。
引用必须可核实
模型提交的每条证据都要对应它实际读到的网页段落；编造或无法对应的引用会直接压低分数上限。
允许诚实弃权
证据不足时可以弃权。弃权能拿到分析与表达分，但拿不到满分证据分，奖励不会鼓励瞎猜，也不会鼓励一律弃权。
02
题面节选
以下为 Agent 实际收到的题面节选（原文照录），用于展示任务设定与约束。
instruction.md · 179 chars
Verify the public claim with the controlled search/read tools and submit a verdict with evidence.
Claim
Spain has announced it will use the renminbi to replace the dollar.
Context
A simplified Chinese X post published on July 16, 2026, amid US-Spain trade tensions after Trump's NATO remarks.
Evidence cutoff
2026-08-06. Search results are filtered to this date.
NOTE题面为模型收到的全部公开输入；工具定义与提交格式已省略。
03
检索环境
5次搜索（返回网页原文，不含生成式摘要）
8次网页阅读
5 万字可见正文上限
2026.08.06证据截止日，之后的网页被过滤
没有随题附件：证据全部来自模型自己在开放网络上的检索与阅读。完整工具调用记录（搜索词、打开的网页、引用段落）随每次作答保存，可追溯核查过程。
04
评分设计
4个评分维度
+ 6 条封顶规则
判据全文、权重与参考答案随完整数据包提供。
4 个评分维度 + 6 条封顶规则，满分 100，按 score / 100 输出 reward。
- 维度：核查标签正确性、证据支持度、分析质量、表达清晰度
- 证据只认模型实际检索到并引用的网页段落；没有有效引用时总分封顶
- 目标错位、核心推理错误、引用无法核实分别触发独立的分数上限
- 裁判以核查机构的完整分析文章为参考，参考文章与裁判代码随完整数据包提供
05
模型实测
前沿模型在同一检索工具、预算与裁判下的实测结果。
| 模型 | 平均分 / 100 | 平均解题耗时 | 核查标签准确率 |
|---|---|---|---|
| DeepSeek V4 Flash20 道抽样题 · 三模型实测 | 76.76 | 47.2 秒 | 58.8% |
| DeepSeek V4 Pro20 道抽样题 · 三模型实测 | 73.24 | 70.5 秒 | 64.7% |
| Seed20 道抽样题 · 三模型实测 | 70.88 | 94.2 秒 | 64.7% |
同一检索工具、同一预算与同一裁判下的实测。三个模型的核查标签准确率都不到 65%：会搜索、会写理由，不等于判断正确。
06
环境规格
| 任务 ID | FACTCHECK-25786D41 |
|---|---|
| 任务格式 | Harbor task.toml · schema 1.4 |
| 题包版本 | 1.0.0 |
| Agent 时限 | 15 分钟 |
| Verifier 时限 | 5 分钟 |
| 作答容器 | 1 vCPU · 512 MB 内存 |
| 工具 | search · open · find · submit受控工具网关执行，Agent 无 shell 与本地文件访问 |
| 检索预算 | 5 次搜索 · 8 次阅读 · 50,000 字可见正文 · 13 轮工具调用 |
| 证据截止日 | 2026-08-06检索结果按截止日过滤 |
| 题面长度 | 179 字符 |
| 所属题库 | FactCheck-200 · 200 题 |
| 检索服务 | Tavily raw_content，按截止日过滤 |
Contact
想在自己的平台上跑这道题？
留下联系方式，我们会提供该题的完整样例包（题面、附件、verifier 与参考轨迹），并介绍同类题目的规模与定制方式。
- 完整题包与 verifier
- 同子类更多题目
- 接入与复测支持