Улучшена способность систем ИИ выявлять ошибки при работе с базами данных

МОСКВА, 2 июля. /ТАСС/. Исследователи из России разработали два подхода, позволяющих улучшать качество работы систем ИИ при подготовке запросов для поиска информации в базах данных и помогающих большим языковым моделям более точно оценивать собственную уверенность в корректности этих запросов. Данные алгоритмы улучшат качество работы ИИ с узкоспециализированными базами данных, сообщила пресс-служба Института искусственного интеллекта AIRI.

"Комбинация методов калибровки и использование внешних классификаторов радикально повышает надежность языковых ИИ для генерации кода под конкретные задачи. Это критически важно для областей, где цена ошибки высока, а использование ИИ-инструментов должно оставаться полностью подконтрольным специалисту", - пояснил научный сотрудник AIRI Олег Сомов, чьи слова приводит пресс-служба института.

Как отмечают исследователи, специалисты в области IT сейчас активно разрабатывают системы ИИ, способные преобразовать просьбы их пользователей в SQL-запросы, нацеленные на извлечение нужной человеку информации из баз данных. Эти алгоритмы хорошо справляются с составлением запросов на общечеловеческие темы, тогда как при работе с данными из узких областей знаний они часто совершают ошибки при генерации запросов, что особенно характерно для тех случаев, когда вопрос не имеет ответа.

Российские ученые заинтересовались тем, можно ли научиться выявлять подобные ошибки в работе ИИ для составления SQL-запросов и предупреждать пользователя о возможных проблемах. Для этого исследователи обучили несколько больших языковых моделей, в том числе системы DAIL-SQL, T5 и LLaMA3, на двух наборах данных и проверили то, насколько хорошо эти модели интерпретировали запросы и оценивали уверенность в своих ответах.

При проведении этих опытов ученые обучили системы ИИ таким образом, что они выдавали примерно 60-70% правильных и около 30% ошибочных SQL-запросов. Опираясь на результаты этих тестов, исследователи разработали два подхода - внешний классификатор и оценку калиброванности, которые позволяют пользователю понять, насколько можно доверять результатам работы ИИ. Комбинация этих подходов позволяет отсеять до 90% ошибочных запросов, сгенерированных большими языковыми моделями.

"Мы показали, что ИИ-модели часто ошибаются в генерации запросов, но делают это уверенно, а вот когда вопрос не имеет ответа - колеблются. Поэтому внешний классификатор в качестве фильтра надежнее определяет именно такие "неотвечаемые" вопросы. Используя это знание о модели и разработанную методику, мы смогли выявлять 90% ошибок, что напрямую повышает итоговую достоверность системы", - подытожила руководитель группы "Прикладное NLP" Института AIRI Елена Тутубалина, чьи слова приводит пресс-служба организации.