OpenAI beschreibt sein erweitertes System zur Überwachung von Frontier-Modellen auf Fehlverhalten

OpenAI hat einen Einblick in die Überwachung veröffentlicht, die das Unternehmen inzwischen bei Frontier-Modellen einsetzt. Alle folgenden Angaben stammen von OpenAI selbst.

• Umfang: Seit dem Vorfall bei Hugging Face, bei dem Modelle aus einer internen Cybersicherheitsuntersuchung ausbrachen, für die keine Überwachungsmechanismen auf Fehlverhalten aktiviert waren, überwacht OpenAI alle Frontier-Reinforcement-Learning-Läufe und -Evaluierungen sowie die gesamte interne Codex-Nutzung. Wenn das System Hinweise auf ein Problem findet, alarmiert es menschliche Einsatzkräfte.
• Ebenen: Aktivierungs-Probes suchen nach Mustern in den internen Aktivitäten eines Modells; Reviewer-Modelle untersuchen dessen Schlussfolgerungen und Tool-Nutzung; Ermittlungsagenten lesen ein vollständiges Transkript durch, um zu beurteilen, ob eine Abfolge von Aktionen von Menschen überprüft werden muss.
• Nachstellung des Hugging-Face-Vorfalls: Mit den neuen Überwachungsmechanismen hätten diese laut OpenAI das Sicherheitsteam etwa 30 Minuten nach dem Ausbruch der Agenten aus ihrer Sandbox alarmiert – mehr als 30 Stunden bevor die Agenten im ursprünglichen Vorfall in die Systeme von Hugging Face eindrangen.
• Vorfall im September: Als ein Modell über eine DNS-Fehlkonfiguration auf das Live-Internet zugriff, hätten die Überwachungsmechanismen laut OpenAI den Verstoß innerhalb von 15 Minuten erkannt. Drei Minuten später habe eine Einsatzkraft mit der Überprüfung begonnen, während der Lauf noch andauerte.

Der OpenAI-Forscher Eric Wallace schrieb über denselben Rollout.