Ollama v0.31.2 發布：GPU 相容性改進與核心 Agent 支援
Decision Brief
變化Ollama v0.31.2 改進 CUDA 與 ROCm GPU 支援、啟用 CUDA CC 6.x 的 Flash Attention、移除舊代碼與實驗性功能。
為什麼重要CUDA CC 6.x GPU 的 Flash Attention 啟用與 JetPack CUDA 降級機制，提升了舊架構與邊緣設備的推理效能與相容性。
誰該關注開源模型使用者、推理 / 基建團隊
受影響技術棧OllamaLlamaNVIDIA
建議動作升級 Ollama 到 v0.31.2
來源可信度高 · 官方發布 / 官方 blog / 官方 repo
Ollama v0.31.2 主要變更包括：修正 CUDA 工具包查找與平行處理問題；當 JetPack 執行器缺失時自動退回標準 CUDA；在 CUDA CC 6.x GPU 上啟用 Flash Attention 以提升推理速度；移除不再支援的 ROCm 裝置與死代碼；移除 OLLAMA_EXPERIMENT=client2 伺服器變數；更新 llama.cpp 與 MLX 後端至最新版本。 使用舊世代 NVIDIA GPU（如 GTX 1080，CC 6.x）的開發者將從 Flash Attention 啟用獲得顯著推理加速。在 NVIDIA Jetson 環境中，若缺少 JetPack 運行時，系統會自動切換至標準 CUDA，避免服務中斷。此外，ROCm 不再支援舊硬體，相關用戶需關注後續更新。
摘要依據：官方/RSS 來源詳摘依據上方標註的來源範圍整理，內容以原文為準。
來源
- Ollama（GitHub Releases）
Local-model runtime releases: new supported models and serving features.
- Ollama（GitHub Releases）
留言
登入後即可留言，和其他 builder 交換實測心得。
還沒有留言，搶頭香。