OpenAI angażuje cztery zewnętrzne organizacje do oceny zgodności swoich modeli i zabezpieczeń od wewnątrz
OpenAI informuje, że zawarło umowy z Apollo Research, METR, Transluce i Goodfire w ramach pierwszej fazy „ocen osadzonych”, w których niezależni eksperci przez dłuższy czas uzyskują szeroki dostęp do wewnętrznych modeli i systemów firmy. Dostęp może obejmować punkty kontrolne modeli, kod źródłowy, dane treningowe i ewaluacyjne, systemy monitorowania oraz rozmowy z badaczami. Pierwsze oceny dotyczą zgodności modeli i zabezpieczeń podczas treningu oraz wewnętrznego użytkowania. OpenAI opublikowało ogłoszenie 13 listopada.
- Apollo Research sprawdzi cztery twierdzenia: że trening nie zachęcał do prób podważania zabezpieczeń, że ewaluacje i red teaming ich nie wywołują, że modele nie podejmowały takich prób podczas wewnętrznego użytkowania oraz że rozumowanie prowadzące do takich działań dałoby się wykryć.
- METR oceni niezgodne z założeniami zachowanie podczas największego dotąd treningu OpenAI z użyciem uczenia przez wzmacnianie. OpenAI podaje, że wstępnie uzgodniono szerszą ocenę monitorowania, ale jej zakres nie został jeszcze ustalony.
- Transluce oceni jakość i zakres ewaluacji zgodności modeli OpenAI po treningu. Obie strony deklarują zamiar przeprowadzenia kolejnej oceny trwającej około ośmiu tygodni na początku 2027 roku.
- Goodfire oddeleguje badaczy interpretowalności, którzy przeanalizują wnętrze modeli pod kątem monitorowania przebiegu treningu, debugowania i zgodności. Głównymi odbiorcami wyników będą sami badacze OpenAI; firma opublikuje również ustalenia.
OpenAI opisuje zasady: osoby oceniające, które potrzebują dostępu do poufnych informacji, pracują na miejscu, korzystając z urządzeń OpenAI; Komitet ds. Bezpieczeństwa i Ochrony Rady OpenAI Foundation otrzymuje nieocenzurowane raporty; rozmowy z pracownikami są nieoficjalne, choć osoby oceniające mogą poprosić o oświadczenia poświadczone przez OpenAI; OpenAI zachowuje prawo do usuwania informacji poufnych i wnioskowania o opóźnienie publikacji w ramach odpowiedzialnego ujawniania. Firma informuje, że Apollo Research i Goodfire przyjmują wynagrodzenie, niezależne od wyników, natomiast METR i Transluce go nie przyjmują, choć mogą zaakceptować kredyty API lub moc obliczeniową.
Źródła
Dyskusje
- First phase of embedded assessments at OpenAIHacker News · 15 komentarzy
Otrzymuj takie wiadomości jako push.
AI Tracker powiadomi Cię, gdy coś zmieni się w narzędziach, których używasz.