回到时间线

10月16日周五23:03Model/APIAPI 与价格AI CodingInfra / 成本API 与价格指南

Gemini 4 Argon 在 ARC-AGI-3 拿到 97.5%,标准测试环境下跌至 49.8%

决策简报

Brief
发生了什么
Google DeepMind 的 Gemini 4 Argon 在 ARC-AGI-3 上以 4800 美元成本取得 97.5% 成绩,成为继 OpenAI 之后第二家突破 95% 的实验室。
为什么重要
Claude 相关结果会影响评测基准、技术路线和后续产品判断。
影响谁
Claude · GPT · Gemini
建议动作
升级或复核变更版本
地区可用性
暂未验证地区可用性差异。

关键事实

  • Google DeepMind 的 Gemini 4 Argon 在 ARC-AGI-3 上以 4800 美元成本取得 97.5% 成绩,成为继 OpenAI 之后第二家突破 95% 的实验室。 [src-decoder]
  • 同一模型在标准测试环境下只有 49.8%,说明厂商特定 API 配置对成绩影响巨大,使用 Gemini API 的开发者评估模型能力时必须确认测试环境是否一致。 [src-decoder]
高信心100% 主张有证据

由事件证据自动生成。

Google DeepMind 的新模型 Gemini 4 Argon 在 ARC-AGI-3 上取得 97.5%,测试使用 Provider Adapter Harness,依赖保留推理和上下文压缩等厂商特定功能,成本 4800 美元。在 25 个公开游戏中,Argon 所需操作比人类基线少 62%,在 3 个游戏追平或打破速通记录。旧版基准上,ARC-AGI-2 得分 91.3%(每任务 0.32 美元),ARC-AGI-1 得分 98.5%(每任务 0.16 美元),按每百万输入 2 美元、输出 10 美元的推广价计算。 但在仅允许简单笔记的 Standard Harness 下,低推理档只有 49.8%,成本反升至 5800 美元;API 问题还导致低推理档只完成 42 个游戏、中档 46 个、最高档仅 19 个,ARC Prize 因此未公布最高档分数。这一差距源于 2026 年 7 月 OpenAI 与 Anthropic 关于测试环境的争议,最终 ARC Prize 允许使用公开可用的通用 API 设置。 Epoch AI 的 ECI 指数上 Argon 得 165 分,与 Fable 5.1 持平,略低于 Opus 5.5 的 167 和 GPT-6 Astra 的 166,领先 Gemini 3.8 Flash 的 157 分。但在数学 ECI 排第八、软件工程指数 SWE ECI 排第六。调用 Gemini API 做数学推理或代码生成的团队,不能把 ARC-AGI-3 的高分等同于这些领域的实际能力提升。

摘要依据:已读全文详摘依据上方标注的来源范围整理,内容以原文为准。

来源

相关情报

留言

登入后即可留言,和其他 builder 交换实测心得。

还没有留言,抢头香。