llama.cpp 和 ggml 发布 v1.0,采用语义化版本控制并推出 macOS 桌面应用
Hugging Face 上的 ggml-org 团队于 11 月 13 日发布 llama.cpp(libllama)和 ggml(libggml)v1.0.0,距离项目启动已有 3.5 年。
- 从现在起,这两个库的
include/头文件中,任何对公开 C API 或 ABI 的破坏性更改都会提升主版本号。向后兼容的功能、后端更新和模型支持会提升次版本号;不涉及 API 更改的 bug 修复则会提升补丁版本号。团队表示,此举旨在为依赖这些库的下游应用提供稳定的接口。 - 团队列出的分发渠道包括预发布制品、Docker、Debian、Homebrew、conda-forge、MacPorts、Winget,以及适用于 iOS 和 macOS 的 XCFramework。
- 团队称,llama.cpp 支持 150 多种模型架构变体和主流的推测解码方法;其 CI 运行在由 NVIDIA、AMD、Qualcomm、Arm、IBM 和 Intel 提供的自托管运行器上。
- 该帖子还介绍了适用于 macOS 和 Windows 的 llama.cpp 桌面应用,由 llama.cpp 和 Hugging Face 背后的团队开发。
来源
- llama.cpp 发布 v1.0,并推出 macOS 原生应用Hacker News · 4 条评论
这样的新闻,第一时间推送给你。
你用的 AI 工具一有变化,AI Tracker 就会提醒你。