IBM сравнила три оболочки ИИ-агентов: одна модель выполнила от 30% до 81% задач
Обложка создана с помощью ИИ.
3 ноября 2026 года IBM Research опубликовала эксперимент о влиянии программной оболочки на работу ИИ-агента. Исследователи оставили одну языковую модель, GLM-5.3-flash, но меняли систему, которая организует её действия и работу с инструментами.
Результаты эксперимента
В тесте использовали 90 задач AppWorld из 30 сценариев, с одной попыткой на задачу. Авторы получили следующие результаты:
- CUGA: 73 выполненные задачи из 90, или 81,1%.
- Hermes: 42 из 90, или 46,7%.
- DeepAgents: 27 из 90, или 30%.
Важно, что настройки различались. CUGA адаптировали под AppWorld: добавили инструкции, декомпозицию задач, проверку перед выполнением и анализ результатов. Hermes запускали в стандартной конфигурации Harbor с инструментами AppWorld через MCP. Для DeepAgents использовали конфигурацию промежуточного слоя и два исправления.
Что эти цифры не доказывают
Сравнение подготовила команда CUGA, поэтому это не независимая оценка. Один набор из 90 задач и различия в настройках не позволяют объявить универсального победителя. Механизм политик CUGA в этом эксперименте не использовался: полученные проценты не измеряют качество контроля правил.
Практический вывод
Редакционный вывод: при выборе агента полезно сравнивать не только названия моделей, но и весь процесс выполнения задачи. Планирование, доступные инструменты и проверка результата могут влиять на итог. Для пилота в компании разумно собрать собственный набор типовых поручений и отдельно учитывать успешность, стоимость, задержку и необходимость вмешательства человека.
Источник: разбор эксперимента IBM Research, опубликован 3 ноября 2026 года. Это новый разбор системы, а не анонс её первого выпуска.
Обсуждение
Комментарии участников сообщества.