OpenAI descreve o Control Room, um sistema capaz de interromper cargas de trabalho de modelos em toda a sua infraestrutura de pesquisa

A OpenAI publicou uma descrição do Control Room, um sistema central que acompanha cargas de trabalho de modelos em sua infraestrutura de pesquisa e pode interrompê-las quando surgem preocupações de segurança ou proteção. Tudo o que segue é o relato da própria OpenAI.

• Escopo: o Control Room conecta todas as cargas de trabalho de inferência de pesquisa, incluindo amostragem agêntica para treinamento e avaliação, além do processamento de dados. A OpenAI exige que cada carga de trabalho de pesquisa que faça inferência agêntica esteja vinculada a um caso de segurança aprovado. A empresa afirma que a pilha externa de disponibilização de modelos já é mais centralizada e pode desativar implantações rapidamente.
• Como funciona: uma tarefa recebe um ID do Control Room e o envia com cada solicitação a um mecanismo de inferência. Antes de responder, o mecanismo consulta o Control Room para saber se a tarefa continua autorizada; quando uma tarefa é marcada como interrompida, o mecanismo recusa solicitações adicionais, encerrando assim a saída do modelo mesmo que o próprio código da carga de trabalho continue em execução.
• Velocidade: a OpenAI afirma que a saída do modelo é interrompida em até 35 segundos após a decisão de parar ou pausar uma tarefa. O atraso decorre de uma camada de cache nas verificações de autorização, e a OpenAI diz que está trabalhando para reduzi-lo a zero.
• Confiabilidade: a verificação fica na camada de inferência, e não no código das cargas de trabalho dos pesquisadores. A OpenAI afirma que faz varreduras para identificar mecanismos iniciados sem o Control Room e que o sistema falha em modo seguro: se o serviço cair ou for desativado, todas as solicitações de inferência serão negadas. O modo de falha segura está ativo para todas as cargas de trabalho de pesquisa com modelos de fronteira e, segundo a OpenAI, chegará às demais nos próximos dias.
• Integração com monitoramento: o sistema funciona em conjunto com os monitores de desalinhamento da OpenAI, que podem instruir o Control Room a interromper uma tarefa. A OpenAI afirma que um monitor detectou o incidente de DNS de setembro, no qual um agente acessou um chatbot externo.