Ollama v0.31.2 發布:Agent 核心整合、CUDA 回退等更新
Decision Brief
變化Ollama v0.31.2 更新包含 Agent 核心整合、CUDA 回退機制、FLash Attention 啟用、MLX 重寫及多項修復。
為什麼重要新增 Agent 核心整合和 CUDA 回退,讓使用本機 Ollama 的開發者能更好地支援 JetPack 環境與長流程自動化。
誰該關注開源模型使用者、推理 / 基建團隊
受影響技術棧OllamaLlamaNVIDIA
建議動作升級 Ollama 到 v0.31.2
來源可信度高 · 官方發布 / 官方 blog / 官方 repo
v0.31.2 主要變更包括:Agent 核心整合(#16963)、當 JetPack runner 缺失時回退到標準 CUDA(#16949)、在 CUDA CC 6.x GPU 上啟用 Flash Attention(#16994)、MLX 重寫(#16919)及更新至 de7b4ed9(#17056)、移除 OLLAMA_EXPERIMENT=client2 環境變數(#16962)。此外修復了 unbounded parallelism(#16966)、CUDA toolkit 查找(#16613)、UTF-8 安全檔案開啟(#16999),清理了 llama-server 死程式碼(#17007)及不再支援的 ROCm 裝置(#17010)。 對使用 Ollama 在本機佈署模型的開發者,Agent 核心整合為未來更進階的自動化流程打下基礎;CUDA 回退機制改善了在 JetPack 環境下的相容性;Flash Attention 啟用則讓擁有較舊 GPU(CC 6.x)的用戶能獲得更佳推理效率。整體來說,這是朝向更穩定、更廣泛硬體支援的重要小版本更新。
摘要依據:官方/RSS 來源詳摘依據上方標註的來源範圍整理,內容以原文為準。
來源
- Ollama(GitHub Releases)
Local-model runtime releases: new supported models and serving features.
- Ollama(GitHub Releases)
留言
登入後即可留言,和其他 builder 交換實測心得。
還沒有留言,搶頭香。