OpenAI berichtet, dass seine Coding-Agenten inzwischen fast die Hälfte der zwei- bis vierstündigen Rechercheaufgaben ohne Hilfe erledigen
In einem Bericht vom 18. November veröffentlicht OpenAI interne Messwerte dazu, wie Coding-Agenten seine KI-Forschung verändern, als Ergänzung zu seinem Bericht vom September. Das Unternehmen bezeichnet den Fortschritt als „uneben“ und sagt, dass Menschen weiterhin eine zentrale Rolle spielen.
- Aufgabenerfolg: OpenAI schätzt, dass die Erfolgsquote der Agenten ohne menschliches Eingreifen von März bis Oktober bei Aufgaben, für die ein Mensch zwei bis vier Stunden benötigen würde, von 23 % auf 46 % und bei Aufgaben mit einem Aufwand von vier bis acht Stunden von 13 % auf 35 % gestiegen ist. Nach Aufgabentyp beziffert das Unternehmen die Erfolgsquote auf 79 % beim Überwachen von Trainingsläufen, 72 % beim Beantworten technischer Fragen, 35 % beim Starten von Trainingsläufen, 29 % beim Erstellen von Evaluierungs- und Agentenumgebungen und 25 % beim Schreiben von Inferenz- und Serving-Code.
- Nutzung: Zu den Listenpreisen der API erreichte die tägliche Agentennutzung des medianen Forschers im Oktober 2.400 $ (62 % mehr als im September) und beim 90. Perzentil 23.000 $ (105 % mehr). Die Zahl der Arbeitstage mit Agenten pro Forscher stieg von 0,5 auf 5,7. OpenAI zufolge entsprach der API-Gegenwert der Agentennutzung im September etwa dem Doppelten der Vergütung der Forscher ohne Aktienanteile, während der interne Einsatz 2 % der Rechenkapazität für Forschung beansprucht.
- Umfrage: In einer Umfrage unter 101 Forschungsmitarbeitern hätte die Hälfte auf 40 % der Teammitglieder oder 30 % der Team-Rechenkapazität verzichtet, um drei Monate lang Zugang zu führenden Coding-Agenten zu behalten. In einer kleineren Umfrage erwarteten 27 von 28 Befragten, mit dem neuesten internen Modell produktiver zu sein als mit einem Forscher auf mittlerer Karrierestufe plus einem Modell von 2024.
- Ideen: Den Forschern zufolge stammten die zentralen Ideen hinter GPT-6 Astra und GPT-6.2 Astra von Menschen, während die Modelle bei der Umsetzung halfen. Einige Pretraining-Forscher sagten, Codex habe bei der Entwicklung von Ideen für GPT-6.2 Astra geholfen.
- Sicherheit: OpenAI zufolge nahm die dokumentierte Arbeit zu Sicherheit und Alignment von Januar bis September um 77 % zu – der stärkste Zuwachs aller Forschungsbereiche. Der Anstieg setzte nach dem Hugging-Face-Vorfall im Juli ein.
OpenAI sagt, der Bericht solle die öffentliche Beobachtung von Indikatoren für rekursive Selbstverbesserung unterstützen und nicht als Absichtserklärung verstanden werden, diese anzustreben. Die Zahlen sind OpenAIs eigene Schätzungen; das Unternehmen weist darauf hin, dass seine Daten zur Aufgabendelegation und zu Selbstauskünften Einschränkungen haben.
Quellen
News wie diese als Push.
AI Tracker benachrichtigt dich, wenn sich bei deinen Tools etwas ändert.