使用 DSPy 評估並改進 Datasette Agent 的 SQL 系統提示詞
Decision Brief
變化一項研究使用 DSPy 對 Datasette Agent 的 SQL 系統提示詞進行評估與改進。
為什麼重要研究發現 schema 僅給表名導致模型猜測欄位名稱而產生錯誤，提示應包含欄位名或修改相關建議以減少呼叫與錯誤。
誰該關注所有 AI builder
受影響技術棧Claude
建議動作觀察
來源可信度中 · 可靠媒體或一手報導
該研究由 Datasette 作者發起，使用 Claude Fable 5 安裝最新 Datasette alpha、datasette-agent 與 DSPy，並透過 GPT 4.1 mini 與 nano 進行測試。結果發現，當 schema 僅列出表名且提示詞要求「若已有資訊則勿呼叫 describe_table」時，模型會猜測欄位名（如 page_count、o.order_id）導致錯誤與重試迴圈。改善方向包括在提示詞 schema 中納入欄位名或軟化該建議。
摘要依據：官方/RSS 來源如果不是「已讀全文」，這條詳摘只基於公開可取得內容，不會假裝讀過受限原文。
來源
- Simon Willison：Blog
Hands-on notes on LLM tools, local models, and practical AI engineering.
- Simon Willison：Blog