ТАСС, 11 января. Российские исследователи разработали подход, который позволяет подобрать такие наборы данных для обучения языковых нейросетей, которые помогут этим системам ИИ научиться более точно распознавать юмор и отличать его от других форм контента. Об этом в четверг сообщила пресс-служба НИУ ВШЭ.
"Ученые предложили изменить подход к обучению и оценке моделей распознавания юмора. Нужны новые датасеты, более разнообразные и близкие к обычным разговорам, естественному общению. Большие языковые модели, обученные на огромных массивах данных разных типов, в среднем хорошо справляются с распознаванием юмора, и ученые предполагают, что дело именно в разнообразии данных, на которых они учились", - говорится в сообщении.
К такому выводу пришла группа российских исследователей под руководством доцента факультета компьютерных наук НИУ ВШЭ Павла Браславского при изучении того, как существующие нейросетевые алгоритмы справляются с распознаванием разных форм юмора. В ходе этих экспериментов ученые оценили, как разные подходы к обучению языковых моделей и применяемые при этом наборы данных влияют на способность нейросети отличать юмор от других форм контента.
Исследователи изучили способность распознавать юмор как у относительно простых нейросетей на базе алгоритма RoBERTa, так и у передовых больших языковых моделей, таких как ChatGPT и Flan-UL2. Помимо стандартизированных тестов на юмор, ученые проверили, смогут ли нейросети уловить юмор или его отсутствие в диалогах из произведений Льюиса Кэрролла, Чарльза Диккенса, Джерома К. Джерома, нескольких сериалов, а также в ироничных сообщениях из соцсетей.
Новый подход к обучению нейросетей
"Мы показали разным моделям "Лавку древностей" Диккенса, а это очень грустная история, и попросили оценить происходящее. Выяснилось, что некоторые модели считают, что все диалоги из литературы XIX века смешные. И даже больше: все, что слишком непохоже на новости XXI века, воспринимается ими как юмор", - пояснил один из авторов исследования Александр Баранов, чьи слова приводит пресс-служба НИУ ВШЭ.
Эта проблема, как отмечают ученые, была в большей степени характерна для алгоритмов, обученных на однообразных и объемных наборах данных. В противоположность этому нейросети, натренированные на наборах из небольших частей разных коллекций текстов, значительно успешнее справлялись с задачей распознавания юмора. По мнению исследователей, это говорит о необходимости повышения разнообразия примеров юмора при обучении языковых нейросетей.
В пользу этого, в частности, свидетельствует и то, что ChatGPT и Flan-UL2, обученные на очень больших и разнообразных наборах текстов, в среднем заметно лучше справлялись с распознаванием юмора, чем это удавалось делать узкоспециализированым нейросетям на базе алгоритма RoBERTa. Понимание этого, как надеются ученые, значительно повысит качество работы голосовых помощников и прочих систем ИИ, которые часто сталкиваются с шутками и другими проявлениями юмора.