AI Trackerアプリ
← すべてのニュース
OpenAIモデル

OpenAI、モデルのアライメントとセーフガードを内部から評価する外部機関4団体と契約

OpenAIは、Apollo Research、METR、Transluce、Goodfireと契約を結び、「組み込み評価」の第1段階を開始すると発表した。独立した専門家が長期間にわたり、社内モデルとシステムに深くアクセスする。アクセス対象には、モデルのチェックポイント、ソースコード、学習・評価データ、監視システム、研究者との対話が含まれる場合がある。最初の評価では、学習中および社内利用時のモデルのアライメントとセーフガードを検証する。OpenAIは11月13日に発表した。

  • Apollo Researchは、次の4つの主張を検証する。学習によって破壊的行為が促されていないこと、評価やレッドチーミングによってそうした行為が引き出されないこと、社内利用時にモデルがそうした行為を試みていないこと、そして、それにつながる推論を検知できること。
  • METRは、OpenAIがこれまでに実施した中で最大規模の強化学習実行において、アライメントが崩れた行動を評価する。OpenAIによると、より広範なモニター評価については暫定的に合意しているが、範囲の合意はまだ保留中だ。
  • Transluceは、OpenAIの学習後アライメント評価の品質と網羅性を評価する。両者は、2027年初頭に約8週間の後続評価を実施する意向を示している。
  • Goodfireは、解釈可能性の研究者を常駐させ、学習実行の監視、デバッグ、アライメントに向けてモデルの内部を分析する。主な対象はOpenAI社内の研究者で、調査結果も公開する予定だ。

OpenAIは評価の手順についても説明している。機密情報が必要な評価者は、OpenAIの端末を使って同社施設内で作業する。未編集の報告書はOpenAI Foundation理事会の安全・セキュリティ委員会に提出される。スタッフとの会話はオフレコだが、評価者はOpenAIが内容を証明する声明を求めることができる。またOpenAIは、機密情報を編集し、責任ある開示のために公表を延期するよう求める権利を保持する。Apollo ResearchとGoodfireには報酬を支払うが、結果に連動しない一方、METRとTransluceには支払わないと明らかにしている。ただし、両者がAPIクレジットや計算資源を受け取る可能性はある。

こんなニュースをプッシュで。

使っているツールに変化があると、AI Tracker がお知らせします。

アプリを入手