Epoch AI: żaden model nie spełnia standardów pracowników w otwartych zadaniach zawodowych; Fable 5.2 prowadzi z wynikiem 82%, a GPT-6.2 Astra zajmuje czwarte miejsce z 65%
Epoch AI przetestowało GPT-6.2 Astra i inne niedawne modele w ramach Epoch Automation Reports — benchmarku obejmującego otwarte zadania zawodowe z Epoch, od tworzenia diagramów w stylu Epoch po projektowanie podstawowych eksperymentów badawczych. Pracownik Epoch ocenia każde wykonanie pod kątem standardu jakości oczekiwanego od pracowników Epoch; wynik 100% oznacza spełnienie tego standardu.
Epoch informuje, że żaden model nie dorównał temu poziomowi. Najwyższy wynik uzyskał Claude Fable 5.2, ze średnią 82%, a GPT-6.2 Astra zajął czwarte miejsce z wynikiem 65%, mimo że wraz z Fable 5.2 dzieli najwyższy wynik ECI (Epoch Capabilities Index) — 174. Według Epoch w jednym z zadań zarówno Fable 5.2, jak i Claude Opus 5.5 osiągnęły poziom wykonawcy.
Wyniki pochodzą z oceny Epoch przeprowadzonej przez jej pracowników. Do 18 listopada post zdobył 224 punkty na X.
Źródła
Otrzymuj takie wiadomości jako push.
AI Tracker powiadomi Cię, gdy coś zmieni się w narzędziach, których używasz.