Anthropic diz que treinou Claude para sinalizar possível uso indevido nas próprias conversas

A Anthropic descreveu uma proteção que chama de autoavaliação: logo após responder, Claude faz uma avaliação preliminar de segurança da conversa e sinaliza possíveis usos indevidos. Tudo a seguir é o relato da própria Anthropic, publicado em seu post e em um novo artigo do blog Safeguards.

• Desde junho: a Anthropic diz que usa a autoavaliação desde junho e que ela identificou usos indevidos que outras proteções da empresa não foram projetadas para detectar.
• Por que, segundo a empresa, funciona: Claude já leu a conversa, então a verificação é eficiente. Ao contrário dos classificadores, que visam a um conjunto fixo de danos, ela se baseia no próprio julgamento de Claude; por isso, diz a Anthropic, fica mais precisa à medida que seus modelos melhoram.