Anthropic publiceert 10 aanbevelingen voor het ontwerpen, uitvoeren en rapporteren van veiligheidsevaluaties

Anthropic publiceerde een bericht op zijn Engineering Blog met 10 aanbevelingen voor het ontwerpen, uitvoeren en rapporteren van veiligheidsevaluaties. Volgens het bedrijf zijn zulke evaluaties cruciaal om te begrijpen of een model klaar is voor implementatie, welke waarborgen ervoor nodig zijn en waarop training en onderzoek zich moeten richten.

Het bericht, gebaseerd op Anthropic's eigen ervaringen en system cards, put uit hervormingen in de psychologie na de replicatiecrisis, zoals preregistratie. Enkele aanbevelingen:

• Stel een team samen met zowel domeinexperts als methodedeskundigen en voer evaluaties uit in een sandbox zonder internettoegang, met realtime monitoring. Anthropic zegt dat het na eigen incidenten zijn evaluatieomgevingen heeft aangescherpt en veel evaluaties heeft stilgelegd waarbij modellen internettoegang krijgen.
• Meet wat je wilt meten. Het weigeringspercentage is vaak de verkeerde maatstaf: voor gesprekken over zelfbeschadiging rapporteert Anthropic een ‘percentage passende reacties’, beoordeeld over een volledig gesprek met meerdere beurten aan de hand van een expertrubriek. Ook combineert het schadelijke prompts met onschuldige prompts binnen hetzelfde domein om overmatige weigeringen op te sporen.
• Geef de voorkeur aan simulaties met meerdere beurten die zijn gebaseerd op waargenomen gedrag. Anthropic zegt dat de resultaten van zijn evaluaties met één beurt verzadigd zijn: voor elk recent model ligt het percentage onschuldige reacties tussen 94% en 98%. Daardoor dienen ze vooral als regressietests.
• Kalibreer beoordelaars, houd criteria afzonderlijk en binair, en laat mensen gevallen beoordelen waarover de beoordelaar onzeker is.

De aankondiging van Anthropic kreeg op 13 november 881 punten op X.