Anthropic gibt an, Claude darauf trainiert zu haben, in eigenen Unterhaltungen auf möglichen Missbrauch hinzuweisen

Anthropic beschrieb eine Schutzmaßnahme, die das Unternehmen Selbstbewertung nennt: Direkt nachdem Claude geantwortet hat, gibt es eine vorläufige Sicherheitseinschätzung der Unterhaltung ab und weist auf möglichen Missbrauch hin. Alles Folgende stammt aus Anthropics eigener Darstellung, aus einem Beitrag des Unternehmens und einem neuen Safeguards-Blogbeitrag.

• Seit Juni: Anthropic gibt an, die Selbstbewertung seit Juni einzusetzen, und sagt, sie habe Missbrauch aufgedeckt, den die anderen Schutzmaßnahmen des Unternehmens nicht erkennen sollten.
• Warum Anthropic die Methode für wirksam hält: Claude hat die Unterhaltung bereits gelesen, daher ist die Prüfung effizient. Anders als Klassifikatoren, die auf eine feste Gruppe von Risiken ausgerichtet sind, stützt sie sich auf Claudes eigenes Urteilsvermögen. Anthropic sagt daher, dass sie mit der Verbesserung seiner Modelle immer genauer wird.