НЕЙРОСЕТИ.BIZМесто встречи с будущим
← В ленту

Ai2 представила StateBench: тест проверяет, как ИИ отслеживает изменения в длинных документах

Пять керамических стаканов и зелёный шарик: метафора отслеживания состояния
Обложка создана с помощью ИИ.

3 ноября 2026 года Ai2 опубликовала представление StateBench, теста отслеживания состояний в длинном контексте. Он проверяет не просто поиск упомянутого факта, а способность восстановить актуальные значения после цепочки изменений. Свежий инфоповод здесь — публикация разбора исследователей, а не выпуск нового чат-бота.

Почему недостаточно найти последнее упоминание

Задания разделены на четыре уровня: неизменные значения, перезапись значения, обновление с учётом предыдущего состояния и зависимости между переменными. Последний случай похож на перестановку стаканов со спрятанным шариком: пропущенный шаг меняет итоговый ответ.

По данным авторов, проверенные передовые модели справлялись с простыми уровнями, но теряли точность на сложных длинных последовательностях. На самых длинных заданиях высшего уровня результат снижался до 13% или ниже. Это показатели конкретного теста, а не общая оценка качества моделей.

Для разработчиков и исследователей

Ai2 предоставила ссылки на данные и код. Целенаправленное обучение помогало рекуррентным и гибридным архитектурам лучше переносить решение на длинные последовательности. Однако тест предполагает фиксированное число переменных и пока не охватывает появление новых сущностей по ходу разговора.

Редакционный вывод: размер контекстного окна не гарантирует правильного учёта всех изменений. Для проверки помощников, работающих с таблицами, кодом и историей операций, полезны отдельные задания на последовательность обновлений.

Источник: публикация Ai2 о StateBench от 3 ноября 2026 года. Независимое тестирование редакция не проводила.

0 457

Обсуждение

Комментарии участников сообщества.

Для ответа войдите по электронной почте

Следующие статьи