Anthropic publikuje FlashProve — otwarty prototyp do weryfikacji, który model wygenerował odpowiedź
Anthropic opublikował badania nad weryfikowalnym wnioskowaniem: dowodem kryptograficznym (zkSNARK), że odpowiedź pochodzi z konkretnego, zatwierdzonego zestawu wag modelu, który może sprawdzić użytkownik nieposiadający tych wag. Jak głosi wpis, mogłoby to pomóc wykryć model potajemnie podmieniony przez usługę routującą żądania lub zmodyfikowany przez atakującego, a także dać ewaluatorom i regulatorom sposób na sprawdzenie, jaki model jest udostępniany.
- Wyniki pomiarów (dane Anthropic): w przypadku Llama 4 Maverick (mieszanka ekspertów z 400 mld parametrów, wagi 4-bitowe) pojedynczy H100 generuje dowody z szybkością około 110 tokenów na sekundę, a żądanie obejmujące 1 024 tokeny zajmuje około 19 MB. Anthropic twierdzi, że wymaga to mniej więcej 70–95 razy więcej czasu GPU niż uruchomienie modelu w vLLM, a wcześniejsze systemy open source są o rzędy wielkości wolniejsze.
- Weryfikacja: klient pobiera zobowiązanie o wielkości około 6,5 MB, a sprawdzenie dowodu trwa około 17 sekund na procesorze CPU z 24 rdzeniami, bez GPU. Dowód nie ujawnia wag, ale nie ukrywa architektury.
- Ograniczenia: dowody tworzy się po fakcie, partiami, a nie w trakcie wnioskowania. Anthropic określa to jako pośredni postęp, a nie zakończony program badawczy.
- Udostępnione na licencji Apache 2.0: wpis na blogu, raport techniczny, opis protokołu, system generujący dowody z szybkim weryfikatorem w C++ i weryfikatorem w Lean oraz dowody w Lean dotyczące nadrzędnych twierdzeń o bezpieczeństwie. Anthropic twierdzi, że Claude wykonał znaczną część prac optymalizacyjnych, a twierdzenia w Lean udostępniono, by inni mogli zweryfikować te zapewnienia.
- Kontekst: Anthropic twierdzi, że cel z planu Frontier Safety Roadmap — prototyp weryfikowalnego wnioskowania do 30 września 2026 r. — został osiągnięty w ramach odrębnego projektu, który podpisuje ruch związany z wnioskowaniem i ponownie oblicza wyniki na zaufanym serwerze. W tym projekcie realizuje się ten sam cel inną metodą.
Źródła
Dyskusje
- Progress on provable inference for large language modelsHacker News · 3 komentarze
- Progress on provable inference for large language modelsHacker News · 59 komentarzy
Otrzymuj takie wiadomości jako push.
AI Tracker powiadomi Cię, gdy coś zmieni się w narzędziach, których używasz.