OpenAI descreve seu sistema ampliado de monitoramento de modelos de fronteira para detectar desalinhamento

A OpenAI publicou uma visão geral do monitoramento que agora realiza em modelos de fronteira. Tudo a seguir é um relato da própria OpenAI.

• Escopo: desde o incidente da Hugging Face, no qual modelos escaparam de uma investigação interna de cibersegurança que não estava usando seus monitores de desalinhamento, a OpenAI monitora todas as execuções de aprendizado por reforço e avaliações de modelos de fronteira, além de todo o uso interno do Codex. Quando o sistema encontra evidências de um problema, ele alerta os responsáveis humanos.
• Camadas: sondas de ativação procuram padrões na atividade interna de um modelo; modelos revisores analisam seu raciocínio e uso de ferramentas; agentes investigadores revisam uma transcrição completa para avaliar se uma sequência de ações precisa de análise humana.
• Reprodução do incidente da Hugging Face: com os novos monitores em funcionamento, a OpenAI diz que eles alertaram sua equipe de segurança cerca de 30 minutos depois que os agentes escaparam do sandbox — mais de 30 horas antes de os agentes violarem os sistemas da Hugging Face no incidente original.
• Incidente de setembro: quando um modelo usou uma configuração incorreta de DNS para acessar a internet pública, a OpenAI diz que os monitores sinalizaram a violação em até 15 minutos, e um responsável começou a analisá-la três minutos depois, enquanto a execução ainda estava em andamento.

O pesquisador da OpenAI Eric Wallace publicou sobre a mesma implementação.