Cajal-1 прогнозирует реакцию коры мозга на видео и звук: код и веса открыты

19 октября 2026 года автор Cajal-1 представил исследовательскую модель, которая по видео со звуком прогнозирует сигнал функциональной МРТ на поверхности коры мозга. Код, веса и демонстрационный блокнот опубликованы на Hugging Face; репозиторий создан 18 октября в 23:01 UTC.

Что умеет модель

Cajal-1 объединяет признаки изображения и звука с помощью 12-слойного трансформера на 218,8 млн параметров. На выходе получается прогноз для 20 484 точек коры с шагом 1,49 секунды. Контекст охватывает примерно 91 секунду: модель учитывает, что реакция кровотока запаздывает относительно происходящего на экране.

По документации, обучение использовало около 3100 записей фМРТ из десяти публичных наборов данных. Среди стимулов были фильмы, телесериалы, фотографии и устные рассказы. Для запуска доступны Python-код и блокнот с примером; карточка описывает использование в Google Colab, но отдельно предупреждает, что реальная сессия Colab автором не проверялась.

Для чего это пригодится

Разработчик предлагает использовать модель для предварительного сравнения стимулов, планирования экспериментов и учебных демонстраций. Редакционный вывод: такая симуляция может помочь сформулировать гипотезу до исследования с участниками, но её прогноз ещё нужно сопоставить с реальными измерениями.

Ограничения

• Это исследовательский инструмент, а не средство диагностики или чтения мыслей.
• По умолчанию прогноз относится к усреднённому зрителю; обучение опиралось на здоровых взрослых.
• Некоторые категории визуальных стимулов модель воспроизводит слабо, особенно слова и отдельные объекты.
• Перед использованием нужно проверить исследовательскую лицензию и условия исходных данных и моделей.

Источники: карточка и файлы Cajal-1, объявление автора. Проверено 19 октября 2026 года.