llama.cpp и ggml достигли версии 1.0, представив семантическое версионирование и настольное приложение для macOS
Команда ggml-org на Hugging Face выпустила 13 ноября версию v1.0.0 библиотек llama.cpp (libllama) и ggml (libggml) — спустя 3,5 года после начала проекта.
- Отныне несовместимое изменение публичного C API или ABI в заголовочных файлах
include/каждой библиотеки приводит к повышению мажорной версии. Обратно совместимые функции, обновления бэкендов и поддержка моделей повышают минорную версию, а исправления ошибок без изменений API — патч-версию. Команда говорит, что цель — создать стабильный интерфейс для зависящих от этих библиотек приложений. - Среди каналов распространения команда перечисляет артефакты предварительных выпусков, Docker, Debian, Homebrew, conda-forge, MacPorts, Winget и XCFramework для iOS и macOS.
- По словам команды, llama.cpp поддерживает более 150 вариантов архитектур моделей и основные методы спекулятивного декодирования. CI запускается на собственных раннерах NVIDIA, AMD, Qualcomm, Arm, IBM и Intel.
- В публикации представлены настольные приложения llama.cpp для macOS и Windows от команды, стоящей за llama.cpp и Hugging Face.
Источники
- Llama.cpp достигла версии 1.0 и получила нативное приложение для macOSHacker News · 4 комментария
Получайте такие новости в push.
AI Tracker сообщит, когда что-то меняется в ваших инструментах.