Paweł Hurynの105件バグテストでGemini 4 Neonが63点を獲得し首位に
Paweł Hurynによると、以前GPT-6.2 Astraをテストした際に使った、105件のバグを仕込んだ同じ2つのリポジトリでGemini 4 Neonを試し、見つけて修正できるものに取り組ませたという。Neonはxhighの努力レベルで新たに首位となり、GPT-6.2 Astraを上回ったと報告している。
各モデルのスコア:
- Gemini 4 Neon(xhigh):63
- GPT-6.2 Astra(max):62.7
- GPT-6.2 Astra(xhigh):60.2
- Claude Fable 5.2(max):58
- Gemini 4 Carbon(high):57.3
- Gemini 4 Neon(high):57
- Gemini 4 Carbon(medium):56
Hurynは、Neonのmediumおよびlowの努力レベルでの結果はスレッドで後ほど公開すると述べている。結果は本人による単一のテストであり、投稿は11月19日時点でXで1,053ポイントを獲得していた。
ソース
こんなニュースをプッシュで。
使っているツールに変化があると、AI Tracker がお知らせします。