Test Pawła Huryna obejmujący 105 błędów stawia Gemini 4 Neon na pierwszym miejscu z wynikiem 63
Paweł Huryn twierdzi, że uruchomił Gemini 4 Neon na tych samych dwóch repozytoriach z 105 celowo wprowadzonymi błędami, których użył we wcześniejszym teście GPT-6.2 Astra, i poprosił model o znalezienie i naprawienie tego, co zdoła. Podaje, że Neon przy wysiłku xhigh zajmuje teraz pierwsze miejsce, przed GPT-6.2 Astra.
Jego wyniki:
- Gemini 4 Neon (xhigh): 63
- GPT-6.2 Astra (max): 62.7
- GPT-6.2 Astra (xhigh): 60.2
- Claude Fable 5.2 (max): 58
- Gemini 4 Carbon (high): 57.3
- Gemini 4 Neon (high): 57
- Gemini 4 Carbon (medium): 56
Huryn mówi, że wyniki dla Neona przy wysiłku medium i low pojawią się później w wątku. To jego własne wyniki z jednego testu; do 19 listopada post miał 1 053 punkty na X.
Źródła
Otrzymuj takie wiadomości jako push.
AI Tracker powiadomi Cię, gdy coś zmieni się w narzędziach, których używasz.