Ollama v0.31.2 发布,啟動 Agent 核心框架並啟用 GPU 快閃記憶體優化
Decision Brief
變化Ollama v0.31.2 新增 Agent 核心框架、啟用 CUDA Compute Capability 6.x GPU 的 Flash Attention,並修正多項相容性與建置問題。
為什麼重要新增 Agent 核心框架讓開發者能在本地搭建多步驟 Agent 流程,而啟用舊款 GPU 的 Flash Attention 則直接提升推理效率,對使用較舊 NVIDIA GPU 的本地部署團隊特別有利。
誰該關注開源模型使用者、推理 / 基建團隊
受影響技術棧OllamaNVIDIA
建議動作升級 Ollama 到 v0.31.2
來源可信度高 · 官方發布 / 官方 blog / 官方 repo
Ollama v0.31.2 引入 Agent 核心框架(harness core),為後續 Agent 功能奠定基礎。同時,此版本在 CUDA CC 6.x GPU(如 Pascal 架構)上啟用 Flash Attention,大幅加速注意力計算。此外,修復了 CUDA 工具包查找錯誤、JetPack 環境缺失時回退至標準 CUDA,以及 ROCm 移除已不支援的裝置。MLX 後端也進行了重寫與更新。對使用 Ollama 在本地跑開源模型的開發者,Flash Attention 支援讓較舊 GPU 的推理速度顯著提升;Agent 框架則為未來構建自動化工作流程提供準備。
摘要依據:官方/RSS 來源詳摘依據上方標註的來源範圍整理,內容以原文為準。
來源
- Ollama(GitHub Releases)
Local-model runtime releases: new supported models and serving features.
- Ollama(GitHub Releases)