Anthropic zegt Claude te hebben getraind om mogelijk misbruik in zijn eigen gesprekken te signaleren

Anthropic beschreef een beveiligingsmaatregel die het self-assessment noemt: direct nadat Claude antwoordt, geeft het een voorlopige veiligheidsbeoordeling van het gesprek en signaleert het mogelijk misbruik. Alles hieronder is afkomstig van Anthropic zelf, uit een blogpost en een nieuw Safeguards-blogartikel.

• Sinds juni: Anthropic zegt self-assessment sinds juni te gebruiken en dat het misbruik aan het licht heeft gebracht waarop de andere beveiligingsmaatregelen niet waren ontworpen om te letten.
• Waarom het volgens Anthropic werkt: Claude heeft het gesprek al gelezen, dus de controle is efficiënt. In tegenstelling tot classifiers, die op een vaste reeks schadelijke toepassingen zijn gericht, maakt deze methode gebruik van Claudes eigen beoordelingsvermogen. Daarom zegt Anthropic dat de methode nauwkeuriger wordt naarmate de modellen verbeteren.