llama.cpp e ggml chegam à v1.0, com versionamento semântico e um aplicativo de desktop para macOS
A equipe ggml-org, da Hugging Face, lançou a v1.0.0 do llama.cpp (libllama) e do ggml (libggml) em 13 de novembro, 3,5 anos após o início do projeto.
- A partir de agora, uma mudança incompatível na API ou ABI pública de C de cada biblioteca, nos cabeçalhos
include/, aumenta a versão principal. Recursos compatíveis com versões anteriores, atualizações de back-end e suporte a modelos aumentam a versão secundária; correções de bugs sem alterações na API aumentam a versão de patch. A equipe diz que o objetivo é oferecer uma interface estável para os aplicativos downstream que dependem das bibliotecas. - A equipe lista artefatos de pré-lançamento, Docker, Debian, Homebrew, conda-forge, MacPorts, Winget e um XCFramework para iOS e macOS como canais de distribuição.
- Segundo a equipe, o llama.cpp oferece suporte a mais de 150 variantes de arquiteturas de modelos e aos principais métodos de decodificação especulativa, com CI executada em runners auto-hospedados da NVIDIA, AMD, Qualcomm, Arm, IBM e Intel.
- A publicação aponta para aplicativos de desktop do llama.cpp para macOS e Windows, desenvolvidos pela equipe por trás do llama.cpp e da Hugging Face.
Fontes
- llama.cpp chega à v1.0 com um aplicativo nativo para macOSHacker News · 4 comentários
Receba notícias como esta por push.
O AI Tracker avisa você quando algo muda nas ferramentas que você usa.