谷歌称自我改进型 AI 仍遥遥无期,内部指数未显示研究加速
决策简报
Brief- 发生了什么
- 谷歌 DeepMind 工程师 Haydn Belfield 表示,AI 驱动的 AI 研究并未出现可测量的加速,自我改进型 AI 仍遥遥无期。
- 为什么重要
- Google 相关结果会影响评测基准、技术路线和后续产品判断。
- 影响谁
- Gemini
- 建议动作
- 升级或复核变更版本
- 地区可用性
- 暂未验证地区可用性差异。
关键事实
- 谷歌 DeepMind 工程师 Haydn Belfield 表示,AI 驱动的 AI 研究并未出现可测量的加速,自我改进型 AI 仍遥遥无期。 [src-decoder]
- 这份内部数据给出了罕见的量化基线:AI 已写超过 75% 的生产代码但 88% 的改动仍需人工审查,自主完成率从 7.5% 升至 11.9%,说明当前把 AI 当全自动研究员依赖的团队应把预期放在辅助而非替代上。 [src-decoder]
由事件证据自动生成。
谷歌 DeepMind 工程师 Haydn Belfield 公布了内部观察结果:AI 至今没有带来 AI 研究本身的可测量加速。AI 目前已撰写超过 75% 的生产代码,但约 88% 的代码改动仍需要人工监督或审查,每一次提交前都有人工把关;完全交给 AI 的代码改动占比从 7.5% 升至 11.9%。任务越复杂耗时,AI 独立完成的可能性越低:在 1389 次内部 Argon agent 运行中,随复杂度上升,无人工介入的成功率急剧下降。对十二位 DeepMind 资深研究员的调查也显示,定义明确、可验证的任务自动化程度最高,开放式科学构想最低。 在包含 74 个真实机器学习工程任务的内部基准 RE-Bench 上,Argon 只能解决约一半,虽比 Gemini 3.7 Flash 的 27% 大幅提升,但距离全自动化所需的近乎完美表现仍然很远。团队还构建了覆盖 123 个模型、92 个基准的通用能力指数(GCI),显示 Gemini 能力以每月约 0.1 GCI 点的速度稳定增长,没有显著提速;Gemini 4 Argon 略高于趋势线被归因于更多算力和组织投入,而非 AI 驱动的加速。 对做模型评测和研发流程自动化的团队来说,这意味着短中期内仍应把人放在创意研究、新实验设计、细微训练不稳定诊断和长期规划上;谷歌目前把 AI 驱动研究自动化的风险评为低,但正在搭建测量基础设施以追踪未来是否出现加速信号。这与 Hinton、Bengio 等人警告的『智能爆炸』观点并不一致。
摘要依据:已读全文详摘依据上方标注的来源范围整理,内容以原文为准。
来源
- The Decoder:AI News
- The Decoder:AI News
留言
登入后即可留言,和其他 builder 交换实测心得。
还没有留言,抢头香。