OpenAI opisuje Control Room — system, który może zatrzymywać obciążenia modeli w całej infrastrukturze badawczej

OpenAI opublikowało opis Control Room, centralnego systemu śledzącego obciążenia modeli w infrastrukturze badawczej i mogącego je zatrzymać, gdy pojawią się obawy dotyczące bezpieczeństwa. Poniżej przedstawiono wyłącznie relację OpenAI.

• Zakres: Control Room łączy wszystkie badawcze obciążenia związane z inferencją, w tym próbkowanie agentowe na potrzeby trenowania i ewaluacji oraz przetwarzanie danych. OpenAI wymaga, by każde badawcze obciążenie wykorzystujące inferencję agentową było powiązane z zatwierdzonym uzasadnieniem bezpieczeństwa. Firma twierdzi, że zewnętrzny stos do serwowania modeli jest już bardziej scentralizowany i umożliwia szybkie wyłączanie wdrożeń.
• Jak działa: zadanie otrzymuje identyfikator z Control Room i przekazuje go przy każdym żądaniu do silnika inferencyjnego. Zanim silnik udzieli odpowiedzi, pyta Control Room, czy zadanie nadal jest autoryzowane; gdy zostanie oznaczone jako zatrzymane, silnik odrzuca kolejne żądania, więc generowanie wyjścia przez model ustaje, nawet jeśli kod obsługujący zadanie nadal działa.
• Szybkość: OpenAI twierdzi, że generowanie wyjścia przez model ustaje w ciągu 35 sekund od decyzji o zatrzymaniu lub wstrzymaniu zadania. Opóźnienie wynika z warstwy buforującej sprawdzenia autoryzacji; OpenAI informuje, że pracuje nad jego wyeliminowaniem.
• Niezawodność: sprawdzanie odbywa się w warstwie inferencji, a nie w kodzie zadań badaczy. OpenAI twierdzi, że regularnie wyszukuje silniki uruchomione bez Control Room, a system działa w trybie fail-closed: jeśli usługa przestanie działać lub zostanie wyłączona, wszystkie żądania inferencji są odrzucane. Mechanizm fail-closed działa już w przypadku wszystkich badawczych obciążeń wykorzystujących modele frontier, a według OpenAI w ciągu najbliższych kilku dni obejmie pozostałe.
• Powiązanie z monitorowaniem: system współpracuje z monitorami wykrywającymi rozbieżność z zamierzeniami, które mogą polecić Control Room zatrzymanie zadania. OpenAI twierdzi, że monitor wykrył wrześniowy incydent DNS, podczas którego agent połączył się z zewnętrznym chatbotem.