llama.cpp et ggml passent en v1.0, avec le versionnage sémantique et une application de bureau pour macOS
L’équipe ggml-org de Hugging Face a publié la version v1.0.0 de llama.cpp (libllama) et de ggml (libggml) le 13 novembre, 3,5 ans après le début du projet.
- Désormais, toute modification incompatible de l’API C publique ou de l’ABI dans les en-têtes
include/de chaque bibliothèque fait augmenter le numéro de version majeure. Les fonctionnalités rétrocompatibles, les mises à jour des backends et la prise en charge de modèles font augmenter le numéro de version mineure, tandis que les corrections de bogues sans changement d’API font augmenter le numéro de correctif. L’équipe indique que l’objectif est de fournir une interface stable aux applications en aval qui dépendent de ces bibliothèques. - L’équipe répertorie les artefacts en préversion, Docker, Debian, Homebrew, conda-forge, MacPorts, Winget et un XCFramework pour iOS et macOS parmi les canaux de distribution.
- Elle indique que llama.cpp prend en charge plus de 150 variantes d’architectures de modèles et les principales méthodes de décodage spéculatif, avec une CI exécutée sur des runners auto-hébergés de NVIDIA, AMD, Qualcomm, Arm, IBM et Intel.
- La publication présente des applications de bureau llama.cpp pour macOS et Windows, créées par l’équipe à l’origine de llama.cpp et de Hugging Face.
Sources
- llama.cpp passe en v1.0 avec une application native pour macOSHacker News · 4 commentaires
Recevez ce genre d'actus en notification.
AI Tracker vous prévient dès que quelque chose change pour les outils que vous utilisez.