AI TrackerTélécharger
← Toutes les actus
OpenAIModèlesCode

OpenAI indique que ses agents de programmation accomplissent désormais sans aide près de la moitié des tâches de recherche de deux à quatre heures

Dans un rapport daté du 18 novembre, OpenAI présente des mesures internes de l’évolution de sa recherche en IA sous l’effet des agents de programmation, en complément de son rapport de septembre. L’entreprise qualifie les progrès d’« irréguliers » et affirme que les humains restent au cœur du travail.

  • Réussite des tâches : OpenAI estime que le taux de réussite des agents sans intervention humaine est passé de mars à octobre de 23 % à 46 % pour les tâches qui prendraient deux à quatre heures à une personne, et de 13 % à 35 % pour celles de quatre à huit heures. Selon le type de tâche, l’entreprise estime le taux de réussite à 79 % pour le suivi des entraînements, 72 % pour les réponses aux questions techniques, 35 % pour le lancement d’entraînements, 29 % pour la création d’environnements d’évaluation et d’agents, et 25 % pour l’écriture de code d’inférence et de mise en service.
  • Utilisation : aux tarifs publics de l’API, l’utilisation quotidienne médiane des agents par les chercheurs a atteint 2 400 $ en octobre (+62 % par rapport à septembre) et 23 000 $ au 90e percentile (+105 %). Le nombre de jours de travail avec des agents par chercheur est passé de 0,5 à 5,7. OpenAI indique qu’en septembre, la valeur équivalente à l’utilisation de l’API représentait environ deux fois la rémunération hors participation au capital des chercheurs, tandis que le déploiement interne mobilise 2 % des ressources de calcul consacrées à la recherche.
  • Enquête : dans une enquête menée auprès de 101 membres du personnel de recherche, la valeur médiane déclarée serait de renoncer à 40 % des effectifs de l’équipe ou à 30 % de ses ressources de calcul pour conserver les agents de programmation de pointe pendant trois mois. Dans une enquête plus restreinte, 27 des 28 répondants s’attendaient à être plus productifs avec le dernier modèle interne qu’avec un ingénieur de recherche en milieu de carrière associé à un modèle de 2024.
  • Idées : les chercheurs ont déclaré que les idées clés à l’origine de GPT-6 Astra et GPT-6.2 Astra venaient de personnes, les modèles aidant à les mettre en œuvre. Certains chercheurs en préentraînement ont indiqué que Codex avait contribué à développer des idées pour GPT-6.2 Astra.
  • Sécurité : OpenAI affirme que les travaux documentés sur la sécurité et l’alignement ont augmenté de 77 % entre janvier et septembre, soit la plus forte hausse parmi les domaines de recherche, et que cette progression s’est accélérée après l’incident de Hugging Face en juillet.

OpenAI explique que le rapport vise à contribuer au suivi public des indicateurs d’auto-amélioration récursive, et qu’il ne faut pas y voir une intention de la poursuivre. Les chiffres sont des estimations propres à OpenAI, qui souligne les limites de ses données sur la délégation de tâches et les déclarations des chercheurs.

Recevez ce genre d'actus en notification.

AI Tracker vous prévient dès que quelque chose change pour les outils que vous utilisez.

Télécharger l'app