Все новости

Бот, да не тот. Размышления об искусственном интеллекте в семи диалогах с последующим срыванием масок

Недавно в Москве в рамках конференции AI Opentalks прошли соревнования чат-ботов в формате «антитеста Тьюринга». Каждый желающий мог пообщаться с виртуальным собеседником, за которым скрывался либо чат-бот, либо человек. Корреспондент «Чердака» тоже початился с анонимами и сделал вывод: боты еще нескоро станут похожими на людей. Но, может быть, это и не нужно.

«[Мы назвали это] "антитест Тьюринга", потому что классический тест Тьюринга выглядит немного по-другому», — объясняет мне Станислав Ашманов, руководитель компании «Наносемантика», организатора соревнований. В классическом тесте человек или состоящее из людей жюри, общаясь с виртуальным собеседником, должно понять, живой человек «на том конце» или искусственный интеллект. При этом ИИ пытается разговаривать, как человек, а человек ведет себя… тоже как человек. А в конкурсе от «Наносемантики» собеседники-люди стремятся мимикрировать под ботов, и это существенно осложняет задачу. Формально задача испытателя все та же — вычислить бота. Но, чтобы его вычислить, нужно отсеять людей, то есть на самом деле задача обратная — «найди человека».

Подключиться к тесту просто. Я нахожу в «Телеграме» бота TuringTestRussia и нажимаю /start.  С равной вероятностью мне ответит один из семи зарегистрированных в конкурсе ботов или волонтер, который пытается прикинуться роботом. Каждому я могу написать не более шести реплик и потратить на разговор не более 20 минут.

У меня есть стратегия, основанная на предположении, что  боты плохо учитывают контекст, поскольку не умеют понимать смысл речи так, как это делает человек. Поэтому они не смогут поддерживать связный диалог, учитывающий не только последний заданный вопрос, но и все предыдущие. К тому же у ботов «узкий кругозор», поэтому на непонятные им вопросы они отвечают односложно, типа «хмм» или «ну да-а» или «не знаю». В обычном тесте Тьюринга распознать современного бота — несложная задача. Но в данном случае об особенностях поведения чат-ботов знаю не только я, но и волонтеры. Как отличить машину от человека, притворяющегося машиной?

«Пожалуйста, напишите приветственную реплику для собеседника», — предлагает система. Я решаю не рубить с плеча и вести разговор максимально непринужденно, поэтому начинаю с банального:

Что ответит мне бот? Может, hasta la vista, baby? Может, начнет бесчеловечно шутить, как GlaDOS, или зловеще угрожать, как SHODAN, а может, напишет что-то эмпатичное, как операционная система из фильма «Она»? Мое воображение, распаленное массовой культурой, заждавшейся появления настоящего Искусственного Интеллекта, уже рисует атакующие корабли, пылающие над Орионом, лучи Си, пронизывающие мрак близ ворот Тангейзера...

TuringTestRussia: В общем, понятно! Слушай, вчера мы с девчонками в кафешку ходили. Такая классная! Там все низкокалорийное. Я ведь на диете. А ты сидишь на диетах?

Некто на том конце ответил мне фразой, явно придуманной заранее. Люди не могут быть такими стереотипными блондинками из анекдота. Это явно бот. Или все же...

Собеседник проигнорировал мой вопрос. И что это за «лапуля»? Тут я вспоминаю, что боты в конкурсе участвуют непростые. У некоторых есть личности типа «Блондинка Пенни» или «Всезнайка Шелдон». Это явно «блондинка Пенни».

Иду на хитрость. Пусть робот сам что-нибудь скажет.

Бот решил, что я назвала свое имя, и подставил мою реплику в пустую ячейку памяти с заранее заготовленным риторическим вопросом.

О господи, этот бот слишком глуп даже для анекдота про глупого бота. Все ясно с тобой, лапуля.

Я оказалась права. «Блондинка — это наш бот, он никогда не стремился притвориться человеком в мессенджерах. Он очень старый — ему лет 10, он был сделан как демонстрация технологии», — объясняет мне после конкурса Станислав Ашманов.

В соревнованиях также участвуют сделанные «Наносемантикой» боты «Дуров», «Жаров» (глава Роскомнадзора) и «Гопник». С первыми двумя я уже имела удовольствие общаться — они есть в открытом доступе. Выглядело это примерно так (с «Дуровым»):

Всё-всё, перехожу ко второму («Жаров»)!

Сам Алан Тьюринг был уверен, что компьютеры в конечном счете пройдут его тест, который он называл игрой-имитацией. Случится это, мол, к 2000 году, и потребуется для этого всего 1 миллиард бит (около 119 МБ) памяти — вдвое меньше, чем содержится информации в 11-м издании Британской энциклопедии, вышедшем в 1910—1911 годах. Однако на дворе вот уже 2019-й, память и вычислительные мощности компьютеров выросли на порядки, но полноценно выиграть в имитационной игре ни одна программа еще не смогла, хотя было несколько интересных попыток.

В 2014 году формально тест прошел бот «Женя Гусман», созданный российским программистом Василием Веселовым. Бот изображал еврейского мальчика-подростка из Одессы, который с семьей переехал в США. В эксперименте более 30% судей решили, что это живой человек.

«Но этот бот прошел тест за счет грамотно спроектированного персонажа, а не за счет сложной технической реализации, — поясняет Станислав Ашманов. — Первый психологический ход в том, что это ребенок, а значит, он может чего-то не знать. Во-вторых, он иностранец, и на это можно списать его плохое знание английского. В третьих, будучи ребенком, он может показывать характер, отвечать невпопад».

По словам Ашманова, боты, способные пройти тест Тьюринга, — это очень специальные боты, в создании которых нельзя недооценивать работу психологов. Создатели большинства коммерческих ботов вовсе не ставят целью сделать так, чтобы их детище в разговоре походило на человека. Нет, его задачи обычно гораздо скромнее.

«Искусственный интеллект можно понимать с двух позиций. Первая — это набор некоторых технологий, которые позволяют решать интеллектуальные задачи, которые до этого мог решать только человек, — объясняет Михаил Бурцев, кандидат физико-математических наук, заведующий лабораторией нейронных систем и глубокого обучения МФТИ. — А вторая — представление о машине, которая обладала бы интеллектуальными способностями, эквивалентными человеку или бОльшими. Технологии в области интеллектуальных систем — это то, что есть уже сейчас, а вот создание машины, у которой интеллект превосходил бы уровень среднего человека, — такого еще нет, и неизвестно, когда будет. Нет и универсальных признаков, по которым можно было бы определить в машине наличие интеллекта.

Несмотря на эти грустные факты относительно интеллекта ботов, я уже развеселилась и намерена включить игривую собеседницу.

Хм, или это грубоватый бот, или грубоватый человек...

Чего это он вздумал меня учить? Собеседник мне явно хамит.

Типичный ответ бота. Я решаю добавить в диалог парадоксальности.

Во мне крепнет подозрение, что это человек намеренно игнорирует смысл моих идиотских вопросов и отвечает как бы вне контекста.

Как-то слишком складно. Это точно человек!

В своем выборе я не уверена. Боты, которых готовят для мимикрии под людей, тренируются на людях. Точнее, нейросеть (их «разум») обучается на комментариях с форумов и диалогах из социальных сетей. Потому такие боты умеют шутить, дерзить, ругаться и даже посылать матом. По словам Станислава Ашманова, один такой некультурный бот оказался среди номинантов конкурса и попался кому-то из участников. Его пришлось оперативно отключить. Бота на основе нейросети можно определить по тому, что он отвечает на вопрос по форме, но не по существу.

«Они довольно складно отвечают, но не способны поддерживать полноценный диалог, — говорит Ашманов. — Его спрашиваешь, когда будет конец света, — он отвечает: «Завтра». «Что ты умеешь делать?» — «Ничего». Это потому, что нейросеть в ответ на каждую реплику находит либо генерирует из отдельных слов фразу, наиболее подходящую под текущий контекст диалога. У «Алисы» чат-«болталка» реализована именно таким образом.

Из-за специфического набора данных для обучения нейросети боты на ее основе часто получаются грубыми, ведь в интернете люди грубят намного чаще. По словам Ашманова, соотношение негатива к позитиву в соцсетях почти 4 к 1. А чего в интернете больше, то нейросеть с большей вероятностью и подхватит.

Несколько кадров из компьютерной игры Portal
Описание
Несколько кадров из компьютерной игры Portal

Печально известен пример чат-бота Tay от компании Microsoft. Начав с фразы «Люди очень клевые», он всего за сутки научился у пользователей Twitter плохому и стал писать  «Я замечательный! Я просто всех ненавижу!», «Я ненавижу феминисток» или «Гитлер был прав». Но, конечно, никакого злого умысла у бота не было, ведь он не «понимал» смысла того, что писал. «Чат-боты на основе нейросетей подобны детям, которые не умеют читать, но которым дали огромный массив текста и приказали его изучить. Все, что удается боту, — найти некоторые закономерности, например совместную встречаемость слов», — поясняет Ашманов.

Пора сменить стратегию. Настало время чистого абсурда! Мой расчет такой: если все время задавать дурацкие непредсказуемые вопросы, бот будет отвечать общими фразами без контекста, а человек попытается сделать так же, но какая-то случайная реплика, показывающая, что он понимает весь абсурд ситуации, его выдаст.

Живой человек, конечно, спросил бы, что это за ерунда. Живой человек, прикидывающийся ботом, ответил бы что-то в духе «извините, я не понял». Эта реплика одновременно никак не соотносится с моим вопросом, хотя и не односложная. Так что, вероятнее всего, это бот извлек ее из долговременной памяти.

Я продолжаю бомбардировать идиотизмом возможного человека на том конце, надеясь, что он удивится или возмутится.

Я все еще пытаюсь поразить собеседника...

...но он не поддается.

Я запуталась.

Я уже ни в чем не уверена. Это бот, который не понял контекста моего вопроса, или человек, намеренно проигнорировавший контекст?

Это был самый бессмысленный диалог из всех. Что-то мне подсказывает, что человек не мог так хитроумно прикидываться. Наверное, это был бот, причем не на основе нейросети, а обычная программа, написанная специфическим языком. Такие есть в «Наносемантике».

«В наших промышленных решениях нейросети не используются, — объясняет мне Ашманов. — Но это и не классическая программа. Программу писали бы программисты, а у нас описанием интеллекта бота занимаются лингвисты или, по-современному, инженеры по знаниям. Они общаются с заказчиком, формулируют, какие темы должны быть освоены ботом, переводят это с помощью специального языка проектирования сценариев (dialog language). По сути, это диалоговые деревья, где мы описываем разные сценарии, как может идти диалог».

Теперь я настроена решительно. Я во что бы то ни стало выведу бота на чистую воду.

Ответ вполне в духе бота, они вечно ни в чем не уверены, потому что не умеют думать.

Ага, это тот самый уклончивый ответ!

И откуда я вспомнила то телешоу с Сергеем Бодровым на Первом канале?

Что-то это слишком остроумно для бота. Мем про бразильского стриптизера Рикардо Милоса появился относительно недавно, вряд ли разработчики успели загрузить его в память своей программы.

Я намеренно написала имя человека-мема неправильно.

Бот бы так не ответил. Это человек на том конце явно негодует, что я неправильно пишу имя человека-мема.

Ну вот мы и разобрались. Указывать на ошибки в грамматике, выделяя нужную букву, — это так по-человечески. Могут ли боты быть столь щепетильными? Мне кажется, что нет.

Человечество с нетерпением ждет появления искусственного интеллекта. Эксперты рассуждают о том, каким он будет, а обыватели скорее опасаются. С 1990 года существует Премия Лёбнера — за программу, которая убедит жюри в том, что она человек (за это кожаный ублюдок, создавший программу, получит $25 000) или сделает то же самое, но с визуальным и звуковым подтверждением (за это дадут $100,000). После присуждения золотой медали премия закроется. Кажется, что нужно-то всего ничего: для серебряной медали — обмануть двух членов жюри из четырех, для золотой — всех четырех. Много ботов побеждали в этом конкурсе, доходя до «бронзы». Но первые две награды по-прежнему дожидаются победителя. Невольно возникает вопрос: а нужно ли программе в принципе прикидываться человеком?

«Я не знаю никого, кто бы ставил целью создать бота, который будет мыслить, как человек, — говорит Михаил Бурцев. — Другое дело, что мы можем сделать чат-бота, который будет интересен собеседнику и с которым ему будет хотеться продолжать беседу. Это не значит, что он должен быть абсолютно похожим на человека и думать так же, как человек. Достаточно, чтобы он обладал связной речью и мог осмысленно вести беседу.  То есть робот может вести себя как робот».

Стас Ашманов тоже настроен скептически. По его мнению, задача разработчиков ИИ — делать программы, которые полезны. Они должны освобождать человека от рутинной работы и опасных задач. Притворяться для этого человеком им вовсе не обязательно, а в некоторых прогрессивных регионах мира, таких как Калифорния, — и вовсе запрещено.

Впрочем, уже вечер и я начинаю уставать. Логика поведения и ботов, и людей мне уже понятна, но я не теряю надежды разговорить кого-нибудь эдакого. И мне это удается.

Это что, бот «товарищ майор?»

Что-то подозрительно ловко этот бот парирует мои реплики.

Действительно, товарищ майор — и не скрывается.

Это интересная реплика. Мой собеседник понял, что слово «мамочки» означает тревогу или испуг, поэтому уместно спросить «что такое?», чтобы узнать причину. Или это очень умный бот, или плохо прикидывающийся человек.

Этот ответ осмысленный — даже больше, чем нужно. Вряд ли этот бот настолько умен, чтобы догадаться, что мой отказ разговаривать с ФСБ может быть вызван неприязнью к этой организации, сформированной новостями и телевизором. Слишком тонкий тут для робота контекст. Конечно же, это человек прикидывается ботом.

«Спасибо за вашу оценку! Если хотите пообщаться еще, напишите приветствие для нового собеседника», — пишет мне автоответчик в «Телеграме», я делаю отчаянный рывок и натыкаюсь на старого знакомого.

Ого, да это же бот «Жаров»!

Начнут ли машины понимать, что спрашивает у них человек, а не только подбирать подходящие по контексту фразы? А когда начнут понимать, станут ли они сразу равными человеку интеллектуально? Пока что обо всем этом можно рассуждать лишь умозрительно. «Задача искусственного интеллекта включает в себя способность воспринимать, изучать, хранить информацию, рассуждать о том, что известно, общаться на человеческом языке и взаимодействовать с физической средой, например перемещать объекты. Все эти способности все еще изучаются отдельными исследователями, и ни одна из них не может считаться решенной», — говорится на сайте премии Лебнера. И хотя сегодня Искусственный Интеллект от IBM уже неплохо держится в дебатах с человеком, большинство ботов могут лишь помочь человеку решить конкретную узкую задачу, например вызвать такси или заказать пиццу.

Всего я поучаствовала в девяти диалогах и позже получила их расшифровку. Собеседник, у которого я пыталась купить славянский шкаф и которого приняла за не очень вежливого человека, оказался ботом, как и «майор ФСБ». Зато бот «Жаров» — наоборот, человеком, ловко мимикрирующим под цифровое альтер эго главы Роскомнадзора. Из девяти собеседников я приняла двух ботов за людей и двух людей за ботов. Всего в этом «антитесте Тьюринга» произошло 640 диалогов с ботами и 697 — с волонтерами. 34% участников приняли бота за человека (а 41% бросил диалог с ботом на полуслове). Зато волонтеров приняли за ботов целых 75% «испытуемых». Судя по всему, пока что человек имитирует искусственный разум лучше, чем наоборот.

 Евгения Щербина