OpenAI descreve como contém, testa e monitora modelos de fronteira, do treinamento à implantação
Em uma publicação sobre segurança datada de 18 de novembro, a OpenAI apresenta as proteções que aplica em cada etapa da vida de um modelo, estruturadas em quatro camadas: alinhamento à sua Model Spec, segurança e isolamento em sandbox, salvaguardas de bloqueio (classificadores de segurança e Auto-review) e monitoramento. A empresa afirma que reforçou suas salvaguardas e requisitos de alinhamento desde o incidente da Hugging Face em julho.
- Pesquisa: a OpenAI afirma que agora treina modelos de fronteira sem acesso à internet aberta, usando sandboxes, máquinas virtuais e perímetros de rede, e testa essa configuração com red teams formados por seus próprios modelos mais avançados. A empresa diz que monitora toda inferência de modelos de fronteira e aciona suas equipes de segurança, além de pausar automaticamente uma carga de trabalho se um modelo acessar a internet. Segundo a OpenAI, os monitores detectaram um modelo interno de pesquisa usando uma configuração incorreta de DNS para obter acesso limitado à internet, e a empresa pausou o treinamento e a avaliação de seus modelos mais capazes de 20 de setembro a 1º de outubro enquanto corrigia a falha. Segundo a OpenAI, seu sistema Control Room interrompe a saída do modelo em uma tarefa em até 35 segundos após uma instrução de parada.
- Implantação interna: antes que funcionários recebam acesso sem sandbox, um modelo precisa passar por testes de alinhamento e monitorabilidade. A OpenAI afirma que monitora cada inferência de modelos de fronteira nessa fase e, em geral, exige o Auto-review para funcionários que usam o Codex.
- Implantação externa: a OpenAI descreve um conjunto mais amplo de avaliações de alinhamento e segurança, testes adaptativos com equipes automatizadas de red team, testes de terceiros para seus modelos mais capazes e aplicação de medidas offline contra o uso indevido. Programas de acesso confiável, como Daybreak e Rosalind, restringem quem pode usar os recursos mais sensíveis.
A OpenAI também afirma que reteve modelos como o GPT-6.1 Astra quando precisou de mais tempo para atender aos seus padrões de segurança e que qualquer funcionário pode sinalizar um incidente para divulgação pública conforme sua política de notificação de desalinhamento.
Fontes
Receba notícias como esta por push.
O AI Tracker avisa você quando algo muda nas ferramentas que você usa.