Anthropic veröffentlicht 10 Empfehlungen für die Konzeption, Durchführung und Berichterstattung von Sicherheitsevaluierungen

Anthropic veröffentlichte einen Beitrag in seinem Engineering Blog mit 10 Empfehlungen dazu, wie Sicherheitsevaluierungen konzipiert, durchgeführt und dokumentiert werden sollten. Solche Evaluierungen seien entscheidend, um zu verstehen, ob ein Modell einsatzbereit ist, welche Schutzmaßnahmen dafür entwickelt werden sollten und worauf sich Training und Forschung konzentrieren sollten.

Der Beitrag stützt sich auf die eigenen Erfahrungen von Anthropic und die System Cards des Unternehmens und greift Reformen aus der Psychologie nach deren Replikationskrise auf, etwa die Präregistrierung. Zu den Empfehlungen gehören:

• Das Team mit Fachleuten für den jeweiligen Bereich und für Methoden zusammenstellen und Evaluierungen in einer Sandbox ohne Internetzugang und mit Echtzeitüberwachung durchführen. Anthropic erklärt, dass das Unternehmen nach eigenen Vorfällen seine Evaluierungsumgebungen abgesichert und viele Evaluierungen pausiert habe, bei denen Modelle Zugang zum Internet erhalten.
• Messen, was man messen will. Die Ablehnungsrate sei oft die falsche Messgröße: Bei Gesprächen über Selbstverletzung berichtet Anthropic von einer „Rate angemessener Antworten“, die anhand einer Expertenrichtlinie über ein gesamtes Gespräch mit mehreren Gesprächsrunden hinweg beurteilt wird. Zudem kombiniert das Unternehmen schädliche Prompts mit harmlosen Prompts aus demselben Bereich, um übermäßige Ablehnungen zu erkennen.
• Mehrstufige Simulationen bevorzugen, die auf beobachtetem Verhalten basieren. Anthropic zufolge sind seine Evaluierungen mit nur einer Gesprächsrunde bereits gesättigt: Bei jedem aktuellen Modell lägen die Raten harmloser Antworten zwischen 94 % und 98 %. Sie dienten daher hauptsächlich als Regressionstests.
• Bewertungsmodelle kalibrieren, Kriterien atomar und binär halten und Fälle, bei denen das Bewertungsmodell unsicher ist, von Menschen überprüfen lassen.

Die Ankündigung von Anthropic erzielte am 13. November 881 Punkte auf X.