OpenAI 分析指出 SWE-Bench Pro 评测存在可靠性问题
Decision Brief
What changedOpenAI 最新分析揭示热门编码评测基准 SWE-Bench Pro 存在关于信号与噪声的问题，引发对 AI 模型评测可靠性的担忧。
Why it matters对于使用 SWE-Bench Pro 评估自家模型的开发团队，这项分析直接影响他们对模型编码能力的判断基准，可能需重新审视评测结果。
Who should careAll AI builders
Affected stackOpenAI
Source confidenceHigh · Official release / blog / repo
OpenAI 发布了一项针对 SWE-Bench Pro（一个广泛使用的代码评测基准）的深入分析，指出该基准在区分模型真实能力与随机噪声方面存在缺陷。这项分析强调了当前编码评测中普遍存在的可靠性问题，即基准分数可能无法准确反映模型在实际编码任务中的表现。 对于依赖 SWE-Bench Pro 等公开基准来比较和选择模型的开发者或研究团队，这项发现意味着他们需要对这些评测结果保持谨慎，并考虑结合更多样化的测试来验证模型能力。同时，这也暗示了未来基准设计应更注重消除噪声、提高信号纯度。
Summary basis: official / RSS sourceCompiled from the source scope noted above; the original remains authoritative.
Sources
- OpenAI：News
Official OpenAI announcements: models, APIs, product and policy updates.
- OpenAI：News
留言
登入后即可留言，和其他 builder 交换实测心得。
还没有留言，抢头香。