Anthropic、安全性評価の設計・実施・報告に関する10の推奨事項を公開

AnthropicはEngineering Blogで、安全性評価の設計、実施、報告方法に関する10の推奨事項を紹介する記事を公開した。同社によると、こうした評価は、モデルを導入する準備が整っているか、どのようなセーフガードを構築すべきか、トレーニングや研究の重点をどこに置くべきかを理解するうえで不可欠だ。

Anthropic自身の経験やsystem cardsに基づくこの記事は、事前登録など、再現性危機を受けた心理学分野の改革を参考にしている。推奨事項には次のようなものがある。

• 分野の専門家と評価手法の専門家をそろえてチームを構成する。また、インターネットに接続できないサンドボックスで、リアルタイム監視を行いながら評価を実施する。Anthropicによると、自社でのインシデントを受けて評価環境を強化し、モデルにインターネット接続を許可する評価の多くを一時停止した。
• 測りたいものを測る。 拒否率は適切な指標でないことが多い。自傷に関する会話について、Anthropicは、会話全体を対象に、専門家の評価基準に照らして判定した「適切な応答率」を報告している。また、過剰な拒否を検出するため、同じ分野の有害なプロンプトと無害なプロンプトを組み合わせている。
• 観察された行動に基づく複数ターンのシミュレーションを優先する。 Anthropicによると、同社の単一ターン評価は飽和しており、直近のモデルはすべて無害な応答率が94%から98%に達している。そのため、主に回帰チェックとして使われている。
• 評価者を調整する。評価基準は個別具体的で二択式にし、評価者が判断に迷う事例は人間が確認する。

Anthropicの発表は、11月13日にXで881ポイントを獲得した。