llama.cpp i ggml osiągają wersję v1.0, wprowadzając semantyczne wersjonowanie i aplikację desktopową na macOS
Zespół ggml-org w Hugging Face opublikował 13 listopada wersję v1.0.0 llama.cpp (libllama) i ggml (libggml), 3,5 roku po rozpoczęciu projektu.
- Od teraz każda zmiana niezgodna wstecz w publicznym API C lub ABI w nagłówkach
include/każdej z bibliotek powoduje podbicie wersji głównej. Funkcje zgodne wstecz, aktualizacje backendów i obsługa modeli powodują podbicie wersji podrzędnej, a poprawki błędów niewprowadzające zmian w API — wersji poprawkowej. Zespół twierdzi, że celem jest zapewnienie stabilnego interfejsu aplikacjom zależnym od tych bibliotek. - Zespół wymienia artefakty przedpremierowe, Docker, Debian, Homebrew, conda-forge, MacPorts, Winget oraz XCFramework dla iOS i macOS jako kanały dystrybucji.
- Jak podaje, llama.cpp obsługuje ponad 150 wariantów architektur modeli oraz najpopularniejsze metody dekodowania spekulatywnego. CI działa na samodzielnie hostowanych runnerach firm NVIDIA, AMD, Qualcomm, Arm, IBM i Intel.
- W poście wskazano aplikacje desktopowe llama.cpp na macOS i Windows, stworzone przez zespół stojący za llama.cpp i Hugging Face.
Źródła
- Llama.cpp osiąga wersję v1.0 i otrzymuje natywną aplikację na macOSHacker News · 4 komentarze
Otrzymuj takie wiadomości jako push.
AI Tracker powiadomi Cię, gdy coś zmieni się w narzędziach, których używasz.