llama.cppとggmlがv1.0に到達、セマンティックバージョニングとmacOSデスクトップアプリを導入
Hugging Faceのggml-orgチームは11月13日、プロジェクト開始から3年半を経て、llama.cpp(libllama)とggml(libggml)のv1.0.0をリリースしました。
- 今後、各ライブラリの
include/ヘッダーにある公開C APIまたはABIに破壊的変更を加える場合はメジャーバージョンを上げます。後方互換性のある機能追加、バックエンドの更新、モデル対応はマイナーバージョンを上げ、APIに変更のないバグ修正はパッチバージョンを上げます。チームは、これらのライブラリに依存する下流アプリケーション向けに、安定したインターフェースを提供することが目的だとしています。 - チームは配布先として、プレリリース成果物、Docker、Debian、Homebrew、conda-forge、MacPorts、Winget、およびiOSとmacOS向けのXCFrameworkを挙げています。
- llama.cppは150を超えるモデルアーキテクチャのバリエーションと、主流の投機的デコーディング手法に対応していると説明しています。また、NVIDIA、AMD、Qualcomm、Arm、IBM、Intelのセルフホスト型ランナーでCIを実行しています。
- 投稿では、llama.cppとHugging FaceのチームによるmacOSおよびWindows向けのllama.cppデスクトップアプリを紹介しています。
ソース
- Llama.cppがv1.0に到達、macOS向けネイティブアプリも登場Hacker News · 4 件のコメント
こんなニュースをプッシュで。
使っているツールに変化があると、AI Tracker がお知らせします。