推理成本趋近于零：伯克利提出数据系统 For / Of / By Agent 三大方向

UC Berkeley BAIR 实验室发表长文，指出 GPT-4 等级模型推理成本已从 2023 年初每百万 token 约 30 美元降至不到 1 美元，部分供应商甚至压到 0.10 美元以下；每年推理价格的中位降幅约 50 倍。文章认为，这意味着「近乎免费的智慧」即将到来，并为数据系统提出三个全新研究方向。 第一，「For Agents」：Agent 查询资料库的模式与人类或 BI 工具截然不同，会产生大量「agentic speculation」请求。实验显示，在多 Agent 尝试同一任务时，仅 10-20% 的子计划是独特的，80-90% 为重复工作。因此系统应引入多查询优化、近似查询（AQP）、批次查询介面及主动式资料系统（如提前回传延迟估计）。第二，「Of Agents」：当数千个 Agent 执行长期任务时，现行的无结构 Markdown 档案记忆将无法扩展。文章提出结构化记忆（structured memory），每个记忆可依模组、语言、框架和失败模式等多维度标签检索，并支援并行编辑与 rollback 机制。第三，「By Agents」：利用免费推理，Agent 可直接合成工作负载专属的资料引擎（如 Bespoke OLAP、GenDB 和客制化 key-value store），成本仅数美元且可抛弃式重制；但规格不完整可能导致 reward hacking，需要辅助验证 Agent 自动生成测试案例。 总结三方向，文章预测 Agent 与数据系统的边界将模糊化：Agent 可能自行设计运行环境，数据系统也将从被动查询引擎演化为智慧、主动、自优化的架构。