Google DeepMind и Artificial Analysis представили MKA: тест ИИ-агентов на визуальных документах
10 ноября 2026 года Google DeepMind и Artificial Analysis представили Multimodal Knowledge Agent, или MKA. Новый тест оценивает, как ИИ-агенты работают с визуально сложными файлами и создают готовые профессиональные материалы, а не только отвечают на вопросы по тексту.
200 задач из реальной работы
Набор подготовлен при участии специалистов из десяти отраслевых направлений и 83 профессий. В него вошли многошаговые задания с чертежами, схемами и другими исходными файлами. По оценке создателей, опытному специалисту такая работа занимает от трёх до восьми часов.
Для каждого результата предусмотрено около 70 проверок. Фактическая точность даёт 75% оценки, визуальное оформление — 25%. Все модели используют одну открытую агентную оболочку Stirrup, одинаковые инструменты, изолированную среду и лимит шагов.
Что открыто для проверки
Основные 200 заданий остаются закрытыми: Artificial Analysis выполняет оценку самостоятельно, чтобы снизить риск попадания тестов в обучающие данные или поисковую выдачу. Отдельно опубликованы десять демонстрационных задач на Hugging Face. Они позволяют изучить формат, но не заменяют полный закрытый набор.
Работы оценивает автоматический проверяющий на модели не от Google. По данным авторов, его оценки совпали с решениями специалистов в 96% случаев. Это показатель согласованности проверки, а не доля правильно решённых задач агентами.
Редакционный вывод: MKA полезен командам, выбирающим агента для отчётов, презентаций и работы с техническими документами. Однако итоговый балл нельзя переносить на любую профессию: для внедрения всё равно нужны испытания на собственных файлах и проверка человеком. Мы тест самостоятельно не запускали.
Источник: официальное описание MKA от Google DeepMind, 10 ноября 2026 года.
Обсуждение
Комментарии участников сообщества.