OpenAI сообщает, что теперь его агенты для программирования без помощи человека выполняют почти половину исследовательских задач, рассчитанных на два-четыре часа
В отчёте от 18 ноября OpenAI приводит внутренние данные о том, как агенты для программирования меняют его исследования в области ИИ, дополняя сентябрьский отчёт. Компания называет этот прогресс «неравномерным» и подчёркивает, что люди остаются ключевыми участниками работы.
- Успешность выполнения задач: по оценке OpenAI, с марта по октябрь доля задач, которые агенты выполняют без вмешательства человека, выросла с 23% до 46% для задач, на которые у человека ушло бы от двух до четырёх часов, и с 13% до 35% для задач на четыре-восемь часов. В разрезе типов задач успешность составляет 79% для мониторинга обучающих запусков, 72% для ответов на технические вопросы, 35% для запуска обучения, 29% для создания сред оценки и агентов и 25% для написания кода инференса и обслуживания моделей.
- Использование: по публичным ценам API медианные ежедневные расходы исследователя на агентов в октябре достигли $2 400 (на 62% больше, чем в сентябре), а показатель 90-го перцентиля — $23 000 (на 105% больше). Число рабочих дней с использованием агентов на одного исследователя выросло с 0,5 до 5,7. OpenAI сообщает, что по состоянию на сентябрь эквивалентная стоимость использования агентов по ценам API примерно вдвое превышала денежную часть вознаграждения исследователей, не считая акций, а внутреннее развёртывание занимает 2% вычислительных ресурсов для исследований.
- Опрос: в опросе 101 сотрудника исследовательских подразделений медианный ответ показал готовность отказаться от 40% численности команды или 30% её вычислительных ресурсов, чтобы на три месяца сохранить доступ к передовым агентам для программирования. В меньшем опросе 27 из 28 респондентов ожидали, что с последней внутренней моделью будут продуктивнее, чем с исследователем среднего уровня и моделью 2024 года.
- Идеи: исследователи заявили, что ключевые идеи для GPT-6 Astra и GPT-6.2 Astra принадлежали людям, а модели помогли воплотить их в жизнь. Некоторые исследователи предобучения сообщили, что Codex помог разрабатывать идеи для GPT-6.2 Astra.
- Безопасность: по данным OpenAI, объём задокументированной работы в области безопасности и согласования вырос с января по сентябрь на 77% — больше, чем в любой другой исследовательской области. Рост ускорился после инцидента с Hugging Face в июле.
OpenAI сообщает, что цель отчёта — помочь отслеживать в открытом доступе показатели рекурсивного самосовершенствования, и подчёркивает, что его не следует трактовать как намерение добиваться такого результата. Приведённые цифры — собственные оценки OpenAI; компания отмечает ограничения данных о делегировании задач и самоотчётов.
Источники
Получайте такие новости в push.
AI Tracker сообщит, когда что-то меняется в ваших инструментах.