llama.cpp e ggml arrivano alla v1.0, con versionamento semantico e un’app desktop per macOS
Il team ggml-org di Hugging Face ha rilasciato la v1.0.0 di llama.cpp (libllama) e ggml (libggml) il 13 novembre, 3,5 anni dopo l’avvio del progetto.
- D’ora in poi, una modifica incompatibile all’API o all’ABI C pubblica di ciascuna libreria, nei rispettivi header
include/, comporta un aumento della versione major. Le funzionalità compatibili con le versioni precedenti, gli aggiornamenti dei backend e il supporto ai modelli comportano un aumento della versione minor, mentre le correzioni di bug senza modifiche all’API comportano un aumento della versione patch. Il team afferma che l’obiettivo è offrire un’interfaccia stabile alle applicazioni downstream che dipendono dalle librerie. - Il team indica come canali di distribuzione gli artefatti pre-release, Docker, Debian, Homebrew, conda-forge, MacPorts, Winget e un XCFramework per iOS e macOS.
- Secondo il team, llama.cpp supporta oltre 150 varianti di architettura dei modelli e i principali metodi di decodifica speculativa; la CI viene eseguita su runner autogestiti di NVIDIA, AMD, Qualcomm, Arm, IBM e Intel.
- Il post rimanda alle app desktop di llama.cpp per macOS e Windows, realizzate dal team dietro llama.cpp e Hugging Face.
Fonti
- Llama.cpp raggiunge la v1.0 con un’app nativa per macOSHacker News · 4 commenti
Ricevi notizie come questa via push.
AI Tracker ti avvisa quando cambia qualcosa negli strumenti che usi.