Половина PR, прошедших SWE‑bench, не попала бы в main — и это важно
Исследование METR показывает, что многие патчи, которые проходят автоматические тесты, отклоняются реальными мейнтейнерами: простой автоматический градер переоценивает полезность агентов.