НЕЙРОСЕТИ.BIZМесто встречи с будущим
← В ленту

IBM сравнила три оболочки ИИ-агентов: одна модель выполнила от 30% до 81% задач

Стеклянная сфера в направляющей конструкции перед тремя маршрутами на каменной платформе

Обложка создана с помощью ИИ.

3 ноября 2026 года IBM Research опубликовала эксперимент о влиянии программной оболочки на работу ИИ-агента. Исследователи оставили одну языковую модель, GLM-5.3-flash, но меняли систему, которая организует её действия и работу с инструментами.

Результаты эксперимента

В тесте использовали 90 задач AppWorld из 30 сценариев, с одной попыткой на задачу. Авторы получили следующие результаты:

  • CUGA: 73 выполненные задачи из 90, или 81,1%.
  • Hermes: 42 из 90, или 46,7%.
  • DeepAgents: 27 из 90, или 30%.

Важно, что настройки различались. CUGA адаптировали под AppWorld: добавили инструкции, декомпозицию задач, проверку перед выполнением и анализ результатов. Hermes запускали в стандартной конфигурации Harbor с инструментами AppWorld через MCP. Для DeepAgents использовали конфигурацию промежуточного слоя и два исправления.

Что эти цифры не доказывают

Сравнение подготовила команда CUGA, поэтому это не независимая оценка. Один набор из 90 задач и различия в настройках не позволяют объявить универсального победителя. Механизм политик CUGA в этом эксперименте не использовался: полученные проценты не измеряют качество контроля правил.

Практический вывод

Редакционный вывод: при выборе агента полезно сравнивать не только названия моделей, но и весь процесс выполнения задачи. Планирование, доступные инструменты и проверка результата могут влиять на итог. Для пилота в компании разумно собрать собственный набор типовых поручений и отдельно учитывать успешность, стоимость, задержку и необходимость вмешательства человека.

Источник: разбор эксперимента IBM Research, опубликован 3 ноября 2026 года. Это новый разбор системы, а не анонс её первого выпуска.

0 439

Обсуждение

Комментарии участников сообщества.

Для ответа войдите по электронной почте

Следующие статьи