AI TrackerDownload
← Al het nieuws
OpenAIModellenCoderen

OpenAI meldt dat zijn codeeragents nu bijna de helft van onderzoekstaken van twee tot vier uur zonder hulp afronden

In een rapport van 18 november deelt OpenAI interne metingen over hoe codeeragents zijn AI-onderzoek veranderen, als update van het rapport uit september. Het noemt de productiviteitswinst ‘ongelijkmatig’ en zegt dat mensen centraal blijven staan in het werk.

  • Taaksucces: OpenAI schat dat het succespercentage van agents zonder menselijke tussenkomst tussen maart en oktober steeg van 23% naar 46% voor taken die een mens twee tot vier uur zouden kosten, en van 13% naar 35% voor taken van vier tot acht uur. Per taaktype komt het succespercentage uit op 79% voor het monitoren van trainingsruns, 72% voor het beantwoorden van technische vragen, 35% voor het starten van trainingsruns, 29% voor het bouwen van evaluatie- en agentomgevingen en 25% voor het schrijven van inferentie- en servingcode.
  • Gebruik: tegen de standaard API-prijzen bereikte het dagelijkse agentgebruik van de mediane onderzoeker in oktober $2,400 (62% meer dan in september) en dat van het 90e percentiel $23,000 (105% meer). Het aantal werkdagen waarop onderzoekers agents inzetten steeg van 0,5 naar 5,7. OpenAI zegt dat de API-equivalente waarde van agentgebruik in september ongeveer twee keer zo hoog was als de beloning van onderzoekers exclusief aandelen, terwijl de interne inzet 2% van de onderzoeksrekenkracht verbruikt.
  • Enquête: in een enquête onder 101 onderzoeksmedewerkers zou de mediaan 40% van het team of 30% van de rekenkracht van het team opgeven om drie maanden lang over geavanceerde codeeragents te kunnen beschikken. In een kleinere enquête verwachtten 27 van de 28 respondenten productiever te zijn met het nieuwste interne model dan met een onderzoekstechnicus halverwege zijn carrière plus een model uit 2024.
  • Ideeën: onderzoekers zeiden dat mensen de belangrijkste ideeën achter GPT-6 Astra en GPT-6.2 Astra hadden bedacht, terwijl modellen hielpen die uit te werken. Sommige pretraining-onderzoekers zeiden dat Codex had geholpen ideeën voor GPT-6.2 Astra te ontwikkelen.
  • Veiligheid: OpenAI zegt dat het gedocumenteerde werk op het gebied van veiligheid en alignment tussen januari en september met 77% toenam, de grootste stijging van alle onderzoeksgebieden. De toename zette door na het Hugging Face-incident in juli.

OpenAI zegt dat het rapport bedoeld is om het publiek te helpen indicatoren van recursieve zelfverbetering te volgen, en dat het niet moet worden opgevat als een voornemen om die na te streven. De cijfers zijn schattingen van OpenAI zelf; het bedrijf merkt op dat zijn gegevens over taakdelegatie en zelfrapportage beperkingen hebben.

Krijg nieuws als dit als pushmelding.

AI Tracker waarschuwt je zodra er iets verandert aan de tools die je gebruikt.

Download de app