ALTK-Evolve 用学习记忆让 GPT-4.1 客户服务智能体登顶 τ²-bench
决策简报
Brief- 发生了什么
- IBM Research 发布 ALTK-Evolve，通过从智能体自身任务轨迹中提炼行为准则并追加到系统提示，在不更新模型权重的情况下让 GPT-4.1 零售智能体在 τ²-bench 达到 67.5% Pass^4。
- 为什么重要
- GPT 相关变化会影响地区可用性、合规成本和供应商风险。
- 影响谁
- GPT
- 建议动作
- 升级或复核变更版本
- 地区可用性
- 暂未验证地区可用性差异。
关键事实
- IBM Research 发布 ALTK-Evolve，通过从智能体自身任务轨迹中提炼行为准则并追加到系统提示，在不更新模型权重的情况下让 GPT-4.1 零售智能体在 τ²-bench 达到 67.5% Pass^4。 [src-huggingface-blog]
- 把提示词里的行为准则当作可调参数，按领域的支持度筛选准则数量，零售用全量、航空用高支持核心，能在只增加输入 token 成本、对话轮数还略减的前提下同时提升准确率和四次通过率。 [src-huggingface-blog]
由事件证据自动生成。
ALTK-Evolve 用 gpt-4.1 分析智能体在 τ²-bench 训练任务上的轨迹，把成功与失败蒸馏成简短行为规则，例如先认证用户再操作订单、每步只做一件事、退款需逐项说明。这些规则以 markdown 列表追加在领域政策之后，模型权重和 ReAct 脚手架均不改动。零售域保留 292 条准则后，均值准确率从 78.1% 升至 82.5%，Pass^4 从 57.5% 升至 67.5%，在 2026 年 10 月 12 日的排行榜快照中高于所有零售条目。 准则数量需要按域调：零售是越多越好，航空域里 14 条高支持准则把 Pass^4 提到 45%，而 101 条全量准则只有 40%。成本主要落在输入侧，零售每次对话从 0.084 美元涨到 0.139 美元，但相同任务的助手轮数反而减少约 0.3 到 0.4 轮，端到端延迟下降，准则块在每次调用中相同，生产环境可用提示缓存摊薄。 在航空域改用 gpt-5.5 同时做智能体和准则提炼，准确率从 72.5% 升至 82.5%，Pass^4 从 55.0% 升至 70.0%，说明准则对前沿模型仍有增益。做客服智能体、需要在不重训模型的前提下提升策略遵从率的团队可直接复用这一提示注入方式。
摘要依据：已读全文详摘依据上方标注的来源范围整理，内容以原文为准。
来源
- Hugging Face：Blog
Open-source models, datasets, libraries, and practical ML engineering for builders.
- Hugging Face：Blog
留言
登入后即可留言，和其他 builder 交换实测心得。
还没有留言，抢头香。