OpenAI contrata quatro grupos externos para avaliar, de dentro, o alinhamento e as salvaguardas de seus modelos
A OpenAI afirma ter firmado acordos com Apollo Research, METR, Transluce e Goodfire para uma primeira fase de “avaliações incorporadas”, na qual especialistas independentes terão acesso aprofundado a seus modelos e sistemas internos por um período prolongado. O acesso pode incluir checkpoints dos modelos, código-fonte, dados de treinamento e avaliação, sistemas de monitoramento e conversas com pesquisadores. As primeiras avaliações abrangem o alinhamento e as salvaguardas dos modelos durante o treinamento e o uso interno. A OpenAI publicou o anúncio em 13 de novembro.
- Apollo Research testará quatro afirmações: que o treinamento não incentivou a subversão; que avaliações e red teaming não a provocam; que os modelos não tentaram praticá-la durante o uso interno; e que seria possível detectar o raciocínio por trás dela.
- METR avaliará comportamentos desalinhados na maior execução de aprendizado por reforço da OpenAI até hoje. A OpenAI afirma que há um acordo preliminar para uma avaliação mais ampla do monitoramento, mas que ele depende de um acordo sobre o escopo.
- Transluce avaliará a qualidade e a abrangência das avaliações de alinhamento pós-treinamento da OpenAI. As duas partes afirmam que pretendem realizar uma avaliação subsequente de cerca de oito semanas no início de 2027.
- Goodfire terá pesquisadores de interpretabilidade trabalhando junto à equipe para analisar os mecanismos internos dos modelos, com foco no monitoramento de execuções de treinamento, na depuração e no alinhamento. Seu principal público são os próprios pesquisadores da OpenAI, e a empresa também publicará suas conclusões.
A OpenAI descreve os protocolos: avaliadores que precisarem de informações confidenciais trabalharão no local, usando dispositivos da OpenAI; o Comitê de Segurança da Fundação OpenAI, ligado ao conselho, receberá relatórios sem tarjas; conversas com funcionários serão extraoficiais, embora os avaliadores possam solicitar declarações atestadas pela OpenAI; e a OpenAI manterá o direito de ocultar informações confidenciais e solicitar adiamentos para divulgação responsável. A empresa informa que Apollo Research e Goodfire recebem pagamento, não condicionado aos resultados, enquanto METR e Transluce não recebem, embora possam aceitar créditos de API ou poder computacional.
Fontes
Discussões
- First phase of embedded assessments at OpenAIHacker News · 15 comentários
Receba notícias como esta por push.
O AI Tracker avisa você quando algo muda nas ferramentas que você usa.