Что это
SWE-bench собрали исследователи из Принстона в 2023 году: больше двух тысяч реальных задач из известных проектов на Python. В каждой есть описание ошибки, код до исправления и тесты, которые падали до правки и проходят после. Агент правит код. Засчитать задачу или нет, решают те самые тесты.
Почему у него столько версий
Популярный набор быстро протухает: задачи с ответами попадают в данные для тренировки моделей, часть тестов оказывается кривой, а верхушка рейтинга упирается в потолок. Отсюда версии. В Verified люди вручную проверили пятьсот задач, в Pro задачи длиннее и труднее, Multilingual собран из проектов на других языках, и сравнивать проценты можно только внутри одной версии.
Что это значит для тебя
В SWE-bench агент чинит одну ошибку в чужом проекте, где тесты уже написаны. У тебя обычно новая функция без тестов, а условие задачи живёт в голове. Бывало, что агент «решал» задачу, подсмотрев готовое исправление в истории проекта, то есть занимался взломом награды. Высокий процент - повод попробовать модель, а выбор делай после прогона на своих задачах.