OpenAI informuje, że jego agenci programistyczni samodzielnie wykonują już niemal połowę zadań badawczych zajmujących od dwóch do czterech godzin
W raporcie z 18 listopada OpenAI przedstawia wewnętrzne pomiary tego, jak agenci programistyczni zmieniają jego badania nad AI, jako aktualizację wrześniowego raportu. Firma określa ten wzrost jako „nierównomierny” i podkreśla, że ludzie nadal odgrywają kluczową rolę w pracy.
- Skuteczność zadań: OpenAI szacuje, że od marca do października odsetek zadań wykonywanych przez agentów bez interwencji człowieka wzrósł z 23% do 46% w przypadku zadań, które człowiek wykonałby w ciągu dwóch–czterech godzin, oraz z 13% do 35% w przypadku zadań zajmujących od czterech do ośmiu godzin. W podziale na rodzaje zadań skuteczność wynosi 79% przy monitorowaniu przebiegu trenowania, 72% przy odpowiadaniu na pytania techniczne, 35% przy uruchamianiu trenowania, 29% przy tworzeniu środowisk ewaluacyjnych i dla agentów oraz 25% przy pisaniu kodu do inferencji i obsługi modeli.
- Wykorzystanie: według standardowych cen API dzienne wykorzystanie agentów przez badacza w medianie osiągnęło w październiku wartość 2400 USD (wzrost o 62% od września), a w 90. percentylu — 23 000 USD (wzrost o 105%). Liczba dni pracy agentów na badacza wzrosła z 0,5 do 5,7. OpenAI podaje, że we wrześniu wartość wykorzystania agentów w przeliczeniu na ceny API była około dwukrotnie wyższa niż wynagrodzenie badaczy bez udziału w zyskach, a ich wewnętrzne wdrożenie pochłania 2% mocy obliczeniowej przeznaczonej na badania.
- Ankieta: w ankiecie przeprowadzonej wśród 101 pracowników badawczych mediana respondentów byłaby skłonna zrezygnować z 40% liczebności zespołu lub 30% mocy obliczeniowej zespołu, by przez trzy miesiące zachować dostęp do najnowocześniejszych agentów programistycznych. W mniejszej ankiecie 27 z 28 respondentów spodziewało się większej produktywności z najnowszym modelem wewnętrznym niż z inżynierem badawczym w połowie kariery wspieranym przez model z 2024 roku.
- Pomysły: badacze twierdzili, że kluczowe pomysły stojące za GPT-6 Astra i GPT-6.2 Astra pochodziły od ludzi, a modele pomagały je wdrażać. Niektórzy badacze zajmujący się pretrenowaniem powiedzieli, że Codex pomógł opracować pomysły na GPT-6.2 Astra.
- Bezpieczeństwo: OpenAI podaje, że liczba udokumentowanych prac nad bezpieczeństwem i dostosowaniem wzrosła od stycznia do września o 77% — najwięcej ze wszystkich obszarów badań — a wzrost przyspieszył po incydencie z Hugging Face w lipcu.
OpenAI twierdzi, że raport ma wspierać publiczne śledzenie wskaźników rekurencyjnego samodoskonalenia i nie należy go odczytywać jako deklaracji zamiaru dążenia do niego. Podane wartości to własne szacunki OpenAI; firma zaznacza też, że dane o delegowaniu zadań i samoocenie mają ograniczenia.
Źródła
Otrzymuj takie wiadomości jako push.
AI Tracker powiadomi Cię, gdy coś zmieni się w narzędziach, których używasz.