OpenAI beauftragt vier externe Gruppen damit, die Ausrichtung und Schutzmaßnahmen seiner Modelle intern zu bewerten
OpenAI zufolge hat das Unternehmen Vereinbarungen mit Apollo Research, METR, Transluce und Goodfire für eine erste Phase „eingebetteter Bewertungen“ geschlossen. Dabei erhalten unabhängige Fachleute über einen längeren Zeitraum tiefen Einblick in interne Modelle und Systeme. Der Zugang kann Modell-Checkpoints, Quellcode, Trainings- und Evaluierungsdaten, Überwachungssysteme sowie Gespräche mit Forschenden umfassen. In den ersten Bewertungen geht es um die Ausrichtung und Schutzmaßnahmen von Modellen während des Trainings und ihrer internen Nutzung. OpenAI veröffentlichte die Ankündigung am 13. November.
- Apollo Research wird vier Behauptungen prüfen: dass das Training keine Umgehungsversuche begünstigt hat, dass Evaluierungen und Red Teaming solche Versuche nicht hervorrufen, dass Modelle bei der internen Nutzung keine solchen Versuche unternommen haben und dass entsprechende Überlegungen erkennbar wären.
- METR wird fehlangepasstes Verhalten beim bisher größten Reinforcement-Learning-Lauf von OpenAI bewerten. OpenAI zufolge wurde eine umfassendere Bewertung der Überwachungssysteme vorläufig vereinbart; eine Einigung über den Umfang steht jedoch noch aus.
- Transluce wird die Qualität und Abdeckung der Evaluierungen zur Ausrichtung nach dem Training bei OpenAI bewerten. Beide Seiten erklären, dass sie Anfang 2027 eine Folgeuntersuchung von etwa acht Wochen anstreben.
- Goodfire wird Forschende im Bereich Interpretierbarkeit einbinden, die Modellinternas für die Überwachung von Trainingsläufen, das Debugging und die Ausrichtung analysieren. Die wichtigste Zielgruppe sind OpenAIs eigene Forschende; außerdem wird Goodfire Ergebnisse veröffentlichen.
OpenAI beschreibt die Protokolle: Bewertende, die sensible Informationen benötigen, arbeiten vor Ort mit OpenAI-Geräten; der Ausschuss für Sicherheit und Schutz des Vorstands der OpenAI Foundation erhält ungeschwärzte Berichte; Gespräche mit Mitarbeitenden bleiben vertraulich, Bewertende können jedoch von OpenAI bestätigte Stellungnahmen anfordern. OpenAI behält sich das Recht vor, vertrauliche Informationen zu schwärzen und Verzögerungen im Sinne einer verantwortungsvollen Offenlegung zu verlangen. Das Unternehmen legt offen, dass Apollo Research und Goodfire bezahlt werden, wobei die Vergütung nicht von den Ergebnissen abhängt. METR und Transluce erhalten keine Zahlungen, können jedoch API-Guthaben oder Rechenleistung annehmen.
Quellen
Diskussionen
- First phase of embedded assessments at OpenAIHacker News · 15 Kommentare
News wie diese als Push.
AI Tracker benachrichtigt dich, wenn sich bei deinen Tools etwas ändert.