MaxxBench добавил Qwen3.8 Flash Next: изменённые требования снизили результат до 46,1%
7 ноября 2026 года авторы MaxxBench добавили результаты Qwen3.8 Flash Next в режиме рассуждения xhigh. Модель получила 46,1% на задачах с изменёнными требованиями. Это обновление существующего теста: первоначальный выпуск MaxxBench, согласно журналу проекта, состоялся 29 октября.
Что именно проверяют
В MaxxBench изменены инструкции или исходный код 89 задач DeepSWE, но сохранена основная инженерная проблема. Например, к генерации отчётов по браузерам добавлено требование использовать только строчные буквы в именах файлов. Агенту нужно подстроить решение под новую спецификацию, а не воспроизвести привычный вариант.
В опубликованном сравнении для Qwen3.8 Flash Next указаны 58,7% на DeepSWE и 46,1% на MaxxBench: разница составляет 12,6 процентного пункта. Это показатели авторов теста, а не результаты испытаний редакции. Само расхождение не доказывает использование конкретных задач в обучении модели и не объясняет единственную причину ошибок.
Как использовать результат
Редакционный вывод. При выборе ИИ-помощника для разработки полезно проверять небольшие изменения технического задания: формат даты, регистр имени файла или дополнительное условие. Высокий балл на знакомом наборе задач не заменяет проверку того, что агент соблюдает требования именно вашего проекта.
MaxxBench остаётся специализированным набором для программирования. Его оценку нельзя переносить на качество перевода, изображений или всех рабочих задач. Для практического сравнения стоит учитывать среду агента и режим рассуждения; результаты другого запуска могут отличаться. Таблица и материалы проверки открыты на сайте проекта.
Источники: журнал обновлений от 7 ноября, таблица результатов и описание методики. Проверено 8 ноября 2026 года. Обложка создана с помощью ИИ.
Обсуждение
Комментарии участников сообщества.