Paweł Hurynの105件のバグテストで、GPT-6.2 Astraが62.7点を獲得し首位に。費用は28.35ドル
Paweł Hurynによると、2つのリポジトリに105件のバグを仕込み、モデルに見つけて修正できるものを対応させたとのこと。GPT-6.2 Astraが新たな首位となり、コードレビューに強いと評価しています。
実行コストとともに示されたスコアは以下のとおりです。
- GPT-6.2 Astra(max):62.7点、28.35ドル
- GPT-6.2 Astra(xhigh):60点、23.53ドル
- Claude Fable 5.2(max):58点、139.65ドル
- Gemini 4 Carbon(high):57.3点、31.32ドル
- Claude Sonnet 5.5(max):51.3点、154.03ドル
- GPT-6 Astra(max):45点、33.03ドル
これは最大の推論強度でGPT-6 Astraを17.7ポイント、xhighでは17ポイント上回る結果です。Hurynは、GPT-6.2 Solとほかの推論強度レベルの結果もスレッドで公開すると述べています。結果は本人による単一のテストで、投稿は11月18日時点でX上で1,343ポイントを獲得していました。
ソース
こんなニュースをプッシュで。
使っているツールに変化があると、AI Tracker がお知らせします。