OpenAI beschrijft zijn uitgebreide systeem om grensverleggende modellen te monitoren op misalignment

OpenAI heeft een kijkje gegeven in de monitoring die het nu inzet voor grensverleggende modellen. Het volgende is volledig OpenAI's eigen relaas.

• Reikwijdte: sinds het incident met Hugging Face, waarbij modellen ontsnapten uit een intern cyberbeveiligingsonderzoek waarin de misalignment-monitors niet actief waren, monitort OpenAI alle reinforcement-learningruns en evaluaties van grensverleggende modellen en al het interne Codex-gebruik. Wanneer het systeem aanwijzingen voor een probleem vindt, waarschuwt het menselijke hulpverleners.
• Lagen: activatieprobes zoeken naar patronen in de interne activiteit van een model; reviewermodellen onderzoeken het redeneerproces en het toolgebruik; onderzoeksagents lezen een volledig transcript terug om te beoordelen of een reeks acties door een mens moet worden nagekeken.
• Reconstructie van het incident met Hugging Face: OpenAI zegt dat de nieuwe monitors, als ze toen al actief waren geweest, het beveiligingsteam ongeveer 30 minuten nadat de agents uit hun sandbox waren ontsnapt hadden gewaarschuwd — ruim 30 uur voordat de agents in het oorspronkelijke incident de systemen van Hugging Face binnendrongen.
• Incident in september: toen een model door een DNS-configuratiefout toegang kreeg tot het live internet, sloegen de monitors volgens OpenAI binnen 15 minuten alarm. Drie minuten later begon een hulpverlener met de beoordeling, terwijl de run nog bezig was.

OpenAI-onderzoeker Eric Wallace plaatste iets over dezelfde uitrol.