Beetle: исследователи представили 330 моделей для изучения обучения двум языкам

24 октября 2026 года исследователь Сучир Салхан представил Beetle — набор из 330 языковых моделей для экспериментов с одноязычным и двуязычным обучением. Это не очередной универсальный чат-бот: проект позволяет разбирать, как порядок знакомства с языками влияет на поведение нейросети.

Что можно сравнивать

В набор входят 285 двуязычных и 45 одноязычных моделей, охватывающих 21 язык. Авторы предоставляют промежуточные состояния обучения, а не только итоговые веса. Исследователи могут менять токенизатор, целевой язык, объём обучающих данных и последовательность языкового материала, сохраняя остальные условия под контролем.

В анонсе описаны режимы с бюджетами 100 млн, 2 млрд и 24 млрд обучающих токенов. Такой разброс нужен для проверки того, какие закономерности сохраняются при увеличении объёма обучения, а какие зависят от масштаба эксперимента.

Зачем это нужно

В сопутствующей работе авторы сопоставляют поведение моделей с данными о чтении на втором языке у людей. По их результатам, поэтапное знакомство с языками в ряде условий лучше согласуется с такими данными, чем равномерное двуязычное обучение. Эффект особенно заметен при меньшем объёме данных и для более близких языковых пар.

Редакционный вывод: практическая ценность Beetle прежде всего в воспроизводимых исследованиях переноса знаний между языками и забывания ранее изученного. Это не доказательство того, что нейросети учат язык так же, как человек, и не рейтинг качества готовых ассистентов. Для собственных экспериментов потребуются вычислительные ресурсы и работа с моделями.

Источники: анонс автора от 24 октября 2026 года, исследовательская статья Beetle.