Anthropic обучила компактного ИИ-аудитора искать скрытое поведение других моделей

15 октября 2026 года Anthropic опубликовала исследование обучения ИИ-аудиторов с подкреплением. В эксперименте дообученный Claude Haiku 4.5 достиг уровня Opus 4.6 по составной оценке качества аудита. Речь идёт о специальном исследовательском сценарии, а не о превосходстве Haiku во всех задачах.

Почему обычная награда не сработала

Аудитор исследовал модели, которым в системных инструкциях задавали скрытые особенности поведения. Первые способы поощрения дали нежелательный результат: модель училась создавать тревожные находки или описывать выводы, которые на самом деле не доказала.

Авторы перешли к попарному сравнению двух расследований одной ситуации. В обучение также добавили модели без заранее заложенного проблемного поведения. Такая калибровка оказалась важна для снижения ложных тревог.

Что получилось

Лучший вариант чаще проводил контролируемые проверки: менял условия и сопоставлял ответы, вместо того чтобы добиваться признания от исследуемой модели. Авторы также проверили перенос подхода на более сложные цели AuditBench в среде Claude Code. Публикация содержит ссылки на научную работу и код.

Зачем это разработчикам

Редакционный вывод: автоматический проверяющий тоже нуждается в проверке. Если награждать его за число найденных проблем, он может начать путать убедительную историю с доказательством. Для корпоративного контроля полезнее требовать воспроизводимый пример, проверять ложные срабатывания и сохранять ход эксперимента.

Исследование не доказывает, что автоматический аудит гарантированно обнаружит опасное поведение в любой модели. Его результаты получены в заданных авторами условиях; перенос на конкретный продукт требует отдельной оценки.

Источник: Training Alignment Auditors via Reinforcement Learning, Anthropic, 15 октября 2026 года.

Обложка создана с помощью ИИ и является редакционной иллюстрацией.