МОСКВА, 29 ноября. /ТАСС/. Российские ученые создали первую открытую среду для быстрого контекстного обучения с подкреплением (In-Context RL). Об этом сообщили в лаборатории исследований искусственного интеллекта T-Bank AI Research.
"Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research и Института AIRI при участии студентов из МФТИ, "Сколтеха" и Иннополиса создали первую открытую среду для исследований и разработки алгоритмов в области контекстного обучения с подкреплением - XLand-MiniGrid", - говорится в сообщении.
Как поясняют в лаборатории, XLand-MiniGrid - это виртуальная среда, опубликованная в открытом доступе для исследователей по всему миру, в которой искусственный интеллект (ИИ) обучается принимать решения и выполнять новые действия не "с нуля", что требовало бы длительного обучения, а взаимодействуя с окружающей средой, используя подсказки и контекст.
Эксперименты в XLand-MiniGrid уже провели исследователи из Google DeepMind, Калифорнийского университета в Беркли и Оксфордского университета. Научная статья, описывающая создание среды, была принята на крупнейшую международную конференцию в области искусственного интеллекта - NeurIPS 2024, конференция пройдет 10 - 15 декабря в Ванкувере (Канада), рассказали в T-Bank AI Research.
"Мы пришли в область контекстного обучения с подкреплением, когда она еще зарождалась, и поэтому не нашли ни одного подходящего инструмента для оценки новых идей. Стало понятно, что это проблема для многих специалистов, а значит, она должна быть решена одной из первых. Поэтому появился XLand-MiniGrid. Наша работа сразу привлекла внимание других исследователей в области", - рассказал исследователь научной группы AI Alignment (входит в T-Bank AI Research) Вячеслав Синий.
XLand-MiniGrid ускорит создание новых алгоритмов, говорит руководитель научной группы "Адаптивные агенты" Института AIRI Владислав Куренков. "Контекстное обучение с подкреплением - одна из самых многообещающих областей науки в сфере ИИ, потому что позволяет получать агентов, адаптирующихся к новым сценариям "на лету" на основе внешнего фидбэка. Среда, которую мы разработали, позволит значительно ускорить сравнение и создание новых алгоритмов в этой области", - сказал Куренков, его слова приводятся в сообщении.
Области применения
Отмечается, что In-Context RL особенно полезны в таких областях, как персонализированные рекомендации, управление роботами и автономными транспортными средствами, где требуется мгновенная адаптация к новым условиям.
При этом In-Context RL крупных компаний закрыты для внешних пользователей, а публично доступные инструменты в основном предлагают однотипные и легкие задачи для обучения, что затрудняет разработку и тестирование сложных алгоритмов.
В отличие от других существующих сред, XLand-MiniGrid находится в открытом доступе и позволяет менять условия обучения прямо в процессе работы. Это упрощает моделирование множества вариативных задач разного уровня сложности, помогает создавать более надежные и адаптивные модели искусственного интеллекта, говорится в сообщении.
Среда создана на базе JAX - технологии для разработки высокопроизводительных программ. В отличие от более медленных аналогов, XLand-MiniGrid выполняет миллиарды операций в секунду, отмечают в T-Bank AI Research.
"В XLand-MiniGrid собрано 100 млрд примеров действий искусственного интеллекта в 30 тыс. задач. Это позволяет использовать готовые дата-сеты для обучения, а не проводить его каждый раз "с нуля". Все это способствует новым открытиям в области In-Context RL, снижая затраты и экономя ресурсы на проведение исследований", - говорится в сообщении.
