Anthropic publikuje 10 zaleceń dotyczących projektowania, przeprowadzania i raportowania ewaluacji bezpieczeństwa

Anthropic opublikowało wpis na swoim Engineering Blogu z 10 zaleceniami dotyczącymi projektowania, przeprowadzania i raportowania ewaluacji bezpieczeństwa. Firma twierdzi, że takie ewaluacje mają kluczowe znaczenie dla ustalenia, czy model jest gotowy do wdrożenia, jakie zabezpieczenia należy dla niego opracować oraz na czym skupić prace badawcze i trening.

Wpis, oparty na doświadczeniach Anthropic i jej system cards, nawiązuje do reform w psychologii wprowadzonych po kryzysie replikowalności, takich jak prerejestracja. Wśród zaleceń znalazły się:

• Zbuduj zespół łączący ekspertów dziedzinowych i metodologicznych oraz przeprowadzaj ewaluacje w środowisku typu sandbox, bez dostępu do internetu i z monitorowaniem w czasie rzeczywistym. Anthropic twierdzi, że po własnych incydentach zaostrzyło zabezpieczenia środowisk ewaluacyjnych i wstrzymało wiele ewaluacji zapewniających modelom dostęp do internetu.
• Mierz to, co zamierzasz mierzyć. Wskaźnik odmów często jest niewłaściwą miarą. W przypadku rozmów o samookaleczeniu Anthropic podaje „wskaźnik właściwych odpowiedzi”, oceniany na podstawie całej wieloetapowej rozmowy według eksperckiej rubryki. Firma zestawia też szkodliwe prompty z nieszkodliwymi w tej samej dziedzinie, by wykrywać nadmierne odmowy.
• Preferuj symulacje wieloetapowe oparte na zaobserwowanych zachowaniach. Anthropic twierdzi, że jego ewaluacje jednoetapowe osiągnęły pułap: we wszystkich najnowszych modelach odsetek nieszkodliwych odpowiedzi wynosi od 94% do 98%, dlatego służą głównie do sprawdzania regresji.
• Kalibruj oceniających, stosuj kryteria atomowe i binarne, a przypadki budzące wątpliwości oceniającego przekazuj do weryfikacji ludziom.

Ogłoszenie Anthropic uzyskało 881 punktów na X 13 listopada.