Anthropic brengt FlashProve uit, een open-sourceprototype om te bewijzen welk model een antwoord heeft gegenereerd
Anthropic publiceerde onderzoek naar aantoonbare inferentie: een cryptografisch bewijs (een zkSNARK) dat een antwoord afkomstig is van een specifieke, vastgelegde set modelgewichten, controleerbaar door een gebruiker die de gewichten niet heeft. Volgens het bericht kan dit helpen detecteren of een routeringsdienst ongemerkt een ander model heeft ingezet of een aanvaller het model heeft gemanipuleerd, en evaluatoren en toezichthouders een manier bieden om te controleren welk model wordt aangeboden.
- Gemeten resultaat (cijfers van Anthropic): op Llama 4 Maverick (een mixture-of-experts-model met 400 miljard parameters en 4-bitgewichten) genereert één H100 bewijzen met ongeveer 110 tokens per seconde, met circa 19 MB per verzoek van 1.024 tokens. Anthropic zegt dat hiervoor ongeveer 70–95 keer zoveel GPU-tijd nodig is als om het model met vLLM uit te voeren, en dat eerdere opensourcesystemen ordes van grootte langzamer zijn.
- Verificatie: de client downloadt een commitment van ongeveer 6,5 MB. Een bewijs controleren duurt ongeveer 17 seconden op een CPU met 24 cores, zonder GPU. Het bewijs onthult de gewichten niet, maar verbergt de architectuur niet.
- Beperkingen: bewijzen worden achteraf en in batches gemaakt, niet tijdens de inferentie. Anthropic noemt dit tussentijdse vooruitgang, geen afgerond onderzoeksprogramma.
- Uitgebracht onder Apache 2.0: de blogpost, een technisch rapport, een protocolbeschrijving, een prover met een snelle C++-verifier en een Lean-verifier, en Lean-bewijzen van de belangrijkste beveiligingsclaims. Anthropic zegt dat Claude een groot deel van het optimalisatiewerk heeft gedaan en dat de Lean-beweringen zijn opgenomen zodat mensen de claims kunnen controleren.
- Context: Anthropic zegt dat het doel uit zijn Frontier Safety Roadmap om vóór 30 september 2026 een prototype voor aantoonbare inferentie te maken, is bereikt met een afzonderlijk project dat het inferentieverkeer ondertekent en de inferentie opnieuw uitvoert op een vertrouwde server. Dit werk streeft hetzelfde doel na met een andere methode.
Bronnen
Discussies
- Progress on provable inference for large language modelsHacker News · 3 reacties
- Progress on provable inference for large language modelsHacker News · 59 reacties
Krijg nieuws als dit als pushmelding.
AI Tracker waarschuwt je zodra er iets verandert aan de tools die je gebruikt.