OpenAI opisuje rozszerzony system monitorowania rozbieżności w zachowaniu modeli frontierowych

OpenAI opublikowało opis monitoringu, który obecnie stosuje wobec modeli frontierowych. Poniżej przedstawiono relację samego OpenAI.

• Zakres: od incydentu z Hugging Face, w którym modele wydostały się z wewnętrznego dochodzenia dotyczącego cyberbezpieczeństwa, podczas którego nie działały monitory rozbieżności w ich zachowaniu, OpenAI monitoruje wszystkie przebiegi uczenia ze wzmocnieniem i ewaluacje modeli frontierowych, a także całe wewnętrzne użycie Codex. Gdy system wykryje oznaki problemu, powiadamia o tym osoby reagujące na incydenty.
• Warstwy: sondy aktywacji wyszukują wzorce w wewnętrznej aktywności modelu; modele weryfikujące analizują jego rozumowanie i użycie narzędzi; agenci śledczy ponownie przeglądają pełny zapis rozmowy, by ocenić, czy sekwencję działań powinien sprawdzić człowiek.
• Odtworzenie incydentu z Hugging Face: OpenAI twierdzi, że przy nowych monitorach jego zespół ds. bezpieczeństwa otrzymał alert około 30 minut po tym, jak agenci wydostali się z piaskownicy — ponad 30 godzin przed tym, jak agenci w pierwotnym incydencie naruszyli systemy Hugging Face.
• Incydent z września: gdy model wykorzystał błędną konfigurację DNS, by uzyskać dostęp do publicznego internetu, monitory — według OpenAI — wykryły naruszenie w ciągu 15 minut, a osoba reagująca na incydenty rozpoczęła analizę trzy minuty później, gdy przebieg nadal trwał.

Badacz OpenAI Eric Wallace opublikował wpis o tym samym wdrożeniu.