OpenAI представила BioBasicsBench: тест проверяет, как ИИ понимает лабораторные данные
6 ноября 2026 года OpenAI представила BioBasicsBench, разработанный вместе с биотехнологической компанией Ligo. В тест вошли 100 повседневных лабораторных задач: агент должен прочитать исходные данные, заметить ошибки и определить, достаточно ли доказательств для вывода.
Что измеряет тест
Вместо только подготовленных научных иллюстраций используются фотографии, данные микроскопии и показания приборов. Ответы оцениваются по отдельным критериям, поэтому частично верный разбор может получить часть баллов.
При уровне рассуждения xhigh модель GPT-6 Astra набрала в среднем 66,7% доступных баллов, GPT-6.1 Sol — 62%, GPT-5.6 Sol — 43,8%. Это доля баллов, а не процент полностью решённых задач. Компания проверила семь собственных моделей в 37 сочетаниях модели и режима, по пять попыток на задачу.
Ограничения результатов
OpenAI приводит и неудачные ответы: модель может правильно заметить детали, но ошибиться в итоговом выводе или проигнорировать противоречащие данные. В анонсе нет ссылки на открытый набор заданий и код оценки. Опубликованные цифры получены разработчиком, а не независимым сравнением всех ведущих моделей.
Редакционный вывод. Для исследовательских команд полезно оценивать не только правильность готового ответа, но и способность помощника признать неопределённость. Лабораторное заключение должно оставаться проверяемым: исходные данные, условия измерения и аргументацию нужно сохранять вместе. Такой тест не подтверждает готовность ИИ самостоятельно принимать научные или медицинские решения.
Источник: публикация OpenAI о BioBasicsBench, 6 ноября 2026 года. Редакция не проводила собственного тестирования.
Обложка создана с помощью ИИ и является концептуальной иллюстрацией.
Обсуждение
Комментарии участников сообщества.