llama.cpp ve ggml, anlamsal sürümleme ve macOS masaüstü uygulamasıyla v1.0'a ulaştı
Hugging Face'teki ggml-org ekibi, projenin başlamasından 3,5 yıl sonra, 13 Kasım'da llama.cpp (libllama) ve ggml'nin (libggml) v1.0.0 sürümünü yayımladı.
- Bundan böyle, her kitaplığın
include/başlıklarındaki herkese açık C API veya ABI'de geriye dönük uyumsuz bir değişiklik yapılması ana sürüm numarasını artıracak. Geriye dönük uyumlu özellikler, arka uç güncellemeleri ve model desteği minör sürüm numarasını; API değişikliği içermeyen hata düzeltmeleri ise yama sürüm numarasını artıracak. Ekip, amacın bu kitaplıklara bağımlı alt uygulamalar için kararlı bir arayüz sunmak olduğunu söylüyor. - Ekip, dağıtım kanalları arasında ön sürüm yapıtlarını, Docker, Debian, Homebrew, conda-forge, MacPorts, Winget'i ve iOS ile macOS için bir XCFramework'ü sayıyor.
- Ekip, llama.cpp'nin 150'den fazla model mimarisi varyantını ve yaygın spekülatif çözümleme yöntemlerini desteklediğini; CI'ın NVIDIA, AMD, Qualcomm, Arm, IBM ve Intel'in kendi sunucularında çalıştığını belirtiyor.
- Gönderi, llama.cpp ve Hugging Face'in arkasındaki ekibin macOS ve Windows için geliştirdiği llama.cpp masaüstü uygulamalarına yönlendiriyor.
Kaynaklar
- llama.cpp, macOS için yerel bir uygulamayla v1.0'a ulaştıHacker News · 4 yorum
Bu tür haberleri bildirim olarak alın.
Kullandığınız araçlarda bir şey değiştiğinde AI Tracker sizi uyarır.