SWE-bench Verified は 97% に達した。ただし上位同士は比べにくい

SWE-bench Verified は、実際のリポジトリの課題に対してモデルが書いた修正を当て、テストが通るかどうかで測る試験です⁠^[1]。好みの判定でも作り物の検査でもなく、コンテナの中でテストを実行した結果で決まります⁠^[1]。

Steel の一覧では、Claude Opus 5 が 97.0%（2026 年 9 月）で先頭です⁠^[1]。これは Vals.ai による独立した測定です⁠^[1]。2 番目も Claude Opus 5 で 96.0%（7 月）、以下、Claude Mythos 5 が 95.5%（6 月）、Claude Fable 5 が 95.0%（6 月）、Claude Mythos Preview が 93.9%（4 月）と続きます⁠^[1]。

条件は提出ごとに違い、その差は Opus 5 の 2 行によく出ています。97.0% は独立した測定で、bash だけを与え、隔離した Docker コンテナの中で実行したものです⁠^[1]。96.0% は標準の設定で 5 回試した平均です⁠^[1]。Mythos 5 の 95.5% は 5 回の平均で、考える量を最大に取った設定です⁠^[1]。1 回だけ試した数字と並べても、どれも同じものを測ってはいません。

一覧自身が注意を付けています。この試験はすでに成熟しており、公開された学習データに大量に含まれている、という指摘です⁠^[1]。上位の数字は学習データへの混入とテスト設計の点を差し引いて読むべきで、とくに高いスコアどうしを比べるときはそうだ、と書かれています⁠^[1]。公開された課題を解く力を測るには強く、飽和に近づいた先頭同士を見分ける指標としては弱い、ともされています⁠^[1]。

公式の SWE-bench には 5 つのデータセットがあります⁠^[2]。元のもの、Verified、Multilingual、Multimodal、Lite です⁠^[2]。スコアを比べられるのは、同じデータセットどうしだけです。