LLM Arena
Добавил Редакция
LLM Arena — площадка для попарного сравнения ответов языковых моделей на русском языке. Вместо выбора по рекламному описанию пользователь задает одинаковый вопрос двум моделям, сопоставляет ответы и участвует в формировании публичного рейтинга. Это исследовательский инструмент, а не гарантированно стабильный корпоративный чат.
Кому полезна арена
| Аудитория | Задача |
|---|---|
| Пользователь нейросетей | Сравнить качество объяснений, текстов и решения собственных несекретных задач. |
| Разработчик | Сформировать список моделей для дальнейшего тестирования на своем наборе запросов. |
| Исследователь | Изучать пользовательские предпочтения и неопределенность рейтинговых оценок. |
Режимы и рейтинг
В анонимном режиме имена участников скрыты: на первом экране показаны стороны A и B. Также доступны режим VS и таблица лидеров. В рейтинге можно выбрать математику, программирование, креативное письмо или науку и технологии, отфильтровать открытые и проприетарные модели. Переключатель Style Control предназначен для снижения влияния стилистики ответа на оценку.
Таблица содержит рейтинг, число голосов и 95-процентный доверительный интервал. В пояснениях указан метод Bradley–Terry на шкале Эло. Дополнительные графики показывают доли побед и количество очных сравнений. Место в таблице стоит читать вместе с числом наблюдений: близкие позиции не обязательно означают надежно измеренное превосходство.
Текущее состояние и доступ
На 4 ноября 2026 года сайт сообщает о восстановлении работы арены и доступности 30 текстовых моделей. Старые аккаунты и загруженные файлы пока недоступны, для входа требуется новая регистрация. Основной рейтинг включает архив до 7 октября и часть новых голосов до 2 ноября 2026 года по UTC; оставшиеся голоса обрабатываются. Поэтому количество моделей в исторической таблице не равно числу доступных сейчас участников поединка.
- Просмотр: публичная таблица лидеров открывается без входа.
- Тарифы: на проверенных страницах нет опубликованной платной тарифной сетки.
- Ограничения: проект работает как исследовательское превью; постоянная доступность моделей и сохранность старых данных не гарантированы текущим уведомлением.
Плюсы и ограничения
| Сильная сторона | Ограничение |
|---|---|
| Слепое сравнение уменьшает влияние известности бренда. | Голосование отражает предпочтения участников, а не универсальную пригодность модели. |
| Тематические срезы и доверительные интервалы. | Данные рейтинга обновляются с задержкой; часть результатов относится к архиву. |
| Одинаковый запрос для обеих сторон. | Один удачный ответ не заменяет серию проверок, особенно в профессиональных задачах. |
Конфиденциальность и начало работы
Условия прямо запрещают вводить личную и конфиденциальную информацию. Сервис собирает диалоги, включая текст и изображения, и допускает использование и распространение этих данных по CC-BY или аналогичной лицензии. Для сравнения следует брать общедоступный материал или специально составленный пример без персональных данных, коммерческой тайны и закрытого кода.
Практический порядок: выбрать режим, сформулировать проверяемую задачу, сравнить полноту и фактическую точность ответов, затем посмотреть тематический рейтинг. Результаты генерации могут быть нежелательными или ошибочными, что отдельно отмечено разработчиком. Редакция проверила публичный интерфейс и условия, но не проводила собственный бенчмарк моделей.
Источники: официальная арена и условия использования, таблица лидеров и пояснения. Проверено 4 ноября 2026 года.