МОСКВА, 5 августа. /ТАСС/. Российские исследователи разработали набор инструментов, позволяющий втрое сократить расходы на разметку данных, которая необходима для обучения специализированных систем искусственного интеллекта, построенных на базе больших языковых моделей. Об этом сообщила пресс-служба Т-Банка.
"Разработанный российскими учеными подход использует парадигму активного обучения, при которой сама модель на каждом этапе выбирает, какие новые примеры ей нужны для максимального роста точности. Такой подход, по данным авторов, позволяет сократить объем данных, требующих разметки, в два-четыре раза при сохранении или даже росте качества конечной модели", - говорится в сообщении.
Как отмечается в тексте, одна из главных проблем при создании генеративных ИИ-решений для специфических областей - к примеру, для анализа юридических документов, заключается в необходимости накопления большого количества качественно и профессионально размеченных данных. Разметка требует либо часов работы "дорогих" экспертов, либо серьезных расходов на доступ к большим языковым моделям при решении менее специализированных задач.
Группа ученых из Центра разработки и исследований Т-Технологий, Института искусственного интеллекта AIRI, Высшей школы экономики, университета "Иннополис" и Центра практического искусственного интеллекта Сбера разработала подход, который позволяет решать эти задачи при помощи парадигмы активного обучения. В ее рамках система ИИ сначала обучается на небольшом уже размеченном наборе данных и использует его в качестве опоры для разметки более крупного массива информации для обучения больших языковых моделей.
Работу нового подхода исследователи проверили при решении четырех популярных тестовых заданий для генеративных систем ИИ, связанных с ответами на вопросы, решением задач, пониманием текста и суммаризацией информации. Эти эксперименты показали, что новый алгоритм позволяет обучать большие языковые модели так же качественно, как стратегия случайного выбора, но при этом для этого необходимо размечать только треть объема данных, требуемых при случайной выборке.
По словам ученых, они разместили этот набор инструментов в открытом виде на одной из популярных платформ для публикации исходного кода. Это позволит командам разработчиков любого масштаба использовать этот подход для создания генеративных языковых моделей в различных отраслях знаний, начиная с юриспруденции и заканчивая медициной, и при этом значительно сократить расходы на разработку ИИ и ускорить выход продуктов на его базе на рынок.