新基准 Taste-Bench 显示 AI Agent 长期决策能力不足，最高分仅 59.7%

研究者来自微软和香港城市大学，他们把 Agent 在长任务中的路径选择能力称为『品味』，并构建了 Taste-Bench。基准包含 502 道题，每题给出原始任务、到分支点为止的轨迹和两个候选方向，数据来自 SWE-bench Pro、METR 公开转录 MALT 等数千条带评分的编程与 AI 研究任务轨迹。分支分两类：同一任务两次独立尝试出现的分歧，以及单次运行中自我纠错产生的绕路。 团队测试了 Claude、GPT、Grok、DeepSeek、GLM、MiniMax、Mistral 等 14 个模型，每题正反顺序各问一次，两次都对才计分，纯猜为 25%。最高分 GPT-5.6 Sol 为 59.7%，GPT-5.5 为 59.5%，其余明显更低。当关键线索已出现在先前步骤时，平均准确率为 62.3%；线索要等到后续大量工作后才显现时，准确率降至 21%，接近随机。对两个模型切换三档推理强度，准确率几乎不变，模型在最难题目上花的推理 token 最多。 研究还显示这种判断力可以训练：以 Qwen3.6-27B 为学生模型蒸馏教师模型判断，未见任务准确率从 30% 升到 47.9%；把学生判断作为建议注入任务上下文后，在 41 个留出的 SWE-bench Pro 任务上成功率从 14.6% 升到 33.7%。对运行长周期自主 Agent 的团队来说，这意味着多加推理算力不如在分支点引入外部判断信号。基准与代码已公开。