llama.cpp 和 ggml 邁向 v1.0,採用語意化版本管理並推出 macOS 桌面應用程式
Hugging Face 的 ggml-org 團隊於 11 月 13 日發布 llama.cpp(libllama)和 ggml(libggml)v1.0.0,距離專案啟動已有 3.5 年。
- 從現在起,若變更任一函式庫
include/標頭檔中的公開 C API 或 ABI,且不向下相容,就會提升主版本號。向下相容的功能、後端更新和模型支援會提升次版本號;不變更 API 的錯誤修正則會提升修訂版本號。團隊表示,目標是為依賴這些函式庫的下游應用程式提供穩定的介面。 - 團隊列出的發行管道包括預先發布版本產物、Docker、Debian、Homebrew、conda-forge、MacPorts、Winget,以及適用於 iOS 和 macOS 的 XCFramework。
- 團隊表示,llama.cpp 支援超過 150 種模型架構變體,以及主流的推測解碼方法;CI 則在 NVIDIA、AMD、Qualcomm、Arm、IBM 和 Intel 提供的自架 runner 上執行。
- 貼文介紹了適用於 macOS 和 Windows 的 llama.cpp 桌面應用程式,出自 llama.cpp 背後的團隊與 Hugging Face。
來源
- llama.cpp 邁入 v1.0,推出 macOS 原生應用程式Hacker News · 4 則留言
這樣的新聞,第一時間推播給你。
你使用的 AI 工具一有變化,AI Tracker 就會通知你。