Первый звоночек раздался в 1994 году, когда Марион Тинсли, непобедимый игрок в шашки, вступил в поединок с машиной. Против Тинсли играла программа «Шинук», которую он сам же помогал дорабатывать. Первая игра была сведена вничью. Так же закончились вторая, третья, четвертая… После шестой Тинсли снялся с матча из-за плохого самочувствия — чуть позже у гениального игрока диагностировали рак щитовидной железы, уже через полгода сведший его в могилу.
После смерти Тинсли ни один представитель человечества уже не смог обыграть «Шинук».
Вслед за шашками настал черед шахмат. В 1996 году Гарри Каспаров проиграл свою первую партию в шахматы программе Deep Blue. Сам матч завершился со счетом 4:2 в пользу гроссмейстера, но именно уступленные партии дали право противнику — корпорации IBM — потребовать реванша.
В 1997 году мозг Каспарова соревновался с 510 процессорами, способными перебирать 2,5 миллиона вариантов ходов в секунду, — и проиграл.
В 2015 году ИИ покусился на покер. Боту для игры в безлимитный техасский холдем — Claudico — не удалось победить людей спустя 20 000 раздач, но его преемник, Libratus, в январе 2017 года буквально разорвал всех своих соперников.
Чуть дольше держалась игра в го: очень большое поле, количество возможных позиций камней на порядки больше, чем у фигур на шахматной доске.
Но настает 2016 год, и AlphaGo выигрывает четыре партии из пяти у одного из самых титулованных профессиональных игроков — Ли Седоля. До этого трехкратный европейский чемпион Фань Хуэй проиграл машине всухую. В мае 2017-го машине проигрывает Кэ Цзе, лучший игрок на планете, и на этом искусственный интеллект заканчивает свою спортивную карьеру в го.
Все эти игры — абстрактные, пошаговые и сугубо «разумные», не требующие от игроков ни скорости реакции, ни мышечной силы — только умения сохранять трезвость рассудка и думать, просчитывать, предугадывать. Где они, а где, например, футбол? Где больше вариативности, азарта, человеческого фактора? Но в футбол или хоккей с кремниевым интеллектом мы не сыграем, пока тот не сможет «облачиться» в костюм белкового игрока.
Правда, мы можем встретиться с ним на цифровом поле. И там уже давно есть свой футбол.
Виртуальный спорт
Через несколько месяцев после победы над Ли Седолем DeepMind и Blizzard Entertainment объявили о том, что собираются открыть обучающимся машинам путь в Starcraft 2.
«Старкрафт» — это легендарная RTS (real-time strategy, стратегия в реальном времени) для истории видеоигр, во многом определившая жанр. Официальные крупные соревнования по этой игре проводятся в Южной Корее — Мекке киберспорта — с конца 90-х. Финалы турниров собирают стадионы, а корейские мальчишки, взрослевшие в нулевые годы, все чаще видели себя во снах не космонавтами, а «бонжвами» (сленговое обозначение легендарного игрока, их в 20-летней истории корейского «Старкрафта» только пять).
Игры, подобные «Старкрафту», — логичный шаг в обучении ИИ. «Старкрафт», по словам одного из игроков в него, «требует ловкости пианиста, ума шахматного гроссмейстера и дисциплины спортсмена-олимпийца». Тут нет проверенной однозначной стратегии, которой противник не мог бы ничего противопоставить, — игра идет в реальном времени, а информация об игре неполна: в шахматах игроки видят все игровое поле, обладают полным знанием о положении дел на доске, а тут действия оппонентов скрываются под «туманом войны», и игроки должны полагаться на разведку, свои аналитические способности и интуицию, чтобы понять чужой план на игру. И, что немаловажно, действовать в этих играх нужно по-настоящему стремительно.
Заявление DeepMind звучит амбициозно, однако уровень детища Google, одолевшего человека в го, на сегодняшний день еще очень далек от того, чтобы выйти на бой с людьми: на начало этого года «нейронки» продолжали проигрывать обычным, «неразумным» ботам.
Чего, однако, не скажешь о другом проекте — боте OpenAI для игры Dota 2.
OpenAI — некоммерческая исследовательская компания, основанная Илоном Маском и Сэмом Альтманом для создания «дружественного ИИ». Главная особенность развития «контролируемого искусственного разума» — неконтролируемое обучение. Инженеры OpenAI хотят добиться того, чтобы ИИ сам познавал мир и формулировал стратегии решения задач без опоры на заложенные в него людьми схемы.
«Дота», появившаяся в 2003 году, давно разрослась до статуса крупнейшей киберспортивной дисциплины: десятки команд, сотни профессиональных игроков, миллионы игроков-любителей, многомиллионные призовые фонды, разыгрываемые в течение каждого сезона. Самый крупный фонд — 24,7 млн долларов — был разыгран в прошлом году на The International 2017, крупнейшем турнире в регулярном сезоне. В этом году, на момент публикации этого текста, призовой фонд уже превзошел прошлогодний рекорд.
Будучи механически похожа на «Старкрафт», «Дота», однако, обладает еще одним игровым измерением, которого лишены предыдущие игры, где вызов человеку бросала машина. «Дота» — это командная игра. В матче участвуют две команды по пять человек, каждый из которых вносит свою долю импровизации и хаоса в происходящее на игровом поле.
Каждый раунд команды должны сначала собрать себе «состав» из общего для игроков набора в 115 персонажей (то есть одинаковыми героями поиграть у противников не получится, и можно «отнять» у соперника ценный кадр), а после — попытаться разрушить главное здание противника. По ходу игры игровые персонажи меняются и становятся сильнее, получая игровой опыт и новое снаряжение: вся внутриигровая экономика напрямую зависит от успеха действий команды на карте.
Машины начинают, выигрывают и… проигрывают
Сначала OpenAI готовили к дуэльному поединку 1 на 1. Это, хотя и намного более простой, чем «полная дота», режим, тем не менее, уже весьма требователен к дуэлянтам: они должны иметь план на игру, предугадывать решения противника, обманывать и разгадывать ложные ходы противника.
Бота выпустили на большую сцену 11 августа 2017 года, где искусственный интеллект сразился в честной битве — хотя и с рядом ограничений — с одним из самых титулованных профессиональных игроков, Данилой «Dendi» Ишутиным. И одержал верх.
К этому «нейронка» шла меньше полугода. Еще в начале марта бот в игре за Drow Ranger (герой дальнего боя) только учился «кайтить» — атаковать героя ближнего боя, избегая при этом ответного урона от него, а уже в начале июня победил своего «первого человека». Дальше начинается победное шествие OpenAI на верх игрового рейтинга в «зеркальном» матче двух Shadow Fiend'ов.
7 августа, за четыре дня до финальной битвы, бот добирается до профессионалов: первый проигрывает ему со счетом 3:0, второй уступает — 2:1 (единственный, кто выиграл хотя бы одну партию до начала чемпионата), третий также проигрывает со счетом 3:0. Все проигравшие соглашаются с тем, что Suma1L — лучший дуэлянт среди профессиональных игроков — сможет одолеть «нейронку».
9 августа бот не оставляет ни единого шанса Arteezy, взяв 10 раундов из 10. Тот вслед за своими коллегами тоже утвердительно отвечает на вопрос, сможет ли Suma1L разобрать игру бота и победить.
На следующий день OpenAI побеждает Suma1L со счетом 6:0. Проигравший заявляет, что бота невозможно обыграть. Вслед за ним проигрывает и Dendi.
Однако, пока профессионалы проигрывали, бота побеждали любители. В день проигрыша Ишутина на сцене как минимум 50 игр в зале завершились победой людей. И хотя большая часть включала в трикстерство в той или иной форме, были среди победителей и те, кто просто оказался достаточно хорош!
Strats:
— Victoria Rose @ TI8 Vancouver (@riningear) August 12, 2017
1) Pull enemy creeps so yours beat the tower
2) Just be really good (some 8ks do it)
3) Cheese with item builds
Через несколько недель некоторым профессионалам дали возможность и дальше бороться с искусственным интеллектом. Игроки продолжили искать пробелы, «баги» в логике бота, обыгрывая его с помощью нелогичных и нестандартных решений — тех, которых ИИ еще никогда не видел. Первая зарегистрированная победа человека над финальной версией дуэльного OpenAI — 7 сентября 2017 года. Как отмечают в комментариях к видеозаписи матча, человеку, в общем-то, повезло. Другие комментаторы с иронией отмечают: «Бот сделает из этого выводы и станет еще лучше».
Командная работа
Уже после матча с Dendi СЕО OpenAI Грег Брокмен заявил, что в следующем году они вернутся на чемпионат уже с командой ботов, чтобы сыграть против людей в настоящую «Доту». Проект назвали OpenAI Five.
Сама принципиальная схема «ИИ для «Доты» ничем особенно не отличается от системы, победившей человека в го. Мощная ресурсная база, на которой запущена нейронная сеть, изучающая игру способом «обучения с подкреплением» (reinforced learning). На обеспечение работы команды искусственных игроков работает 128 000 компьютерных процессоров и 256 графических (P100). Для сравнения: дуэльный OpenAI использовал 60 000 «ядер» и 256 более слабых графических процессоров K80.
Со всем этим «под капотом» каждый бот в минуту просчитывает около 150—170 действий, а может достигнуть скорости и 450 дeйcтвий в минуту. На тренировках каждый из отдельных игроков OpenAI Five наигрывал до 180 лет в день, причем 80% матчей он проводил против самого себя, а 20% — против предыдущей версии себя, чтобы не слабеть в результате неверного развития.
Для того чтобы ускорить стартовое понимание игры, ботам привили систему ценностей: «награждали» за убийства противников, успешный фарм и прочие значимые игровые действия. Кроме этого, им ввели параметр «командный дух», который нарастает в течение игры, чтобы отразить то, как изменяется ценность действий в процессе игры: чем дольше продолжается матч, тем важнее коллективный успех и менее ценна индивидуальная выгода.
«Командная работа ботов просто невероятна. Создается впечатление, что ты играешь против пятерых самоотверженных игроков, имеющих хорошее представление о стратегии игры в целом», — цитируют разработчики в своем блоге Уильяма «Blitz» Ли, сыгравшего против OpenAI Five на одном из первых этапов публичных тестов.
В июне этого года, когда боты начали побеждать команды со средним уровнем игры, разработчики стали постепенно снимать некоторые ограничения на условий матча. Постепенно повышая сложность вызовов, OpenAI анонсировали шоу-матч против «команды человечества», состоявшей из пяти англоязычных комментаторов, бывших профессиональных игроков. В матче были доступны для выбора уже 18 героев из 115, а скорость реакции ботов была снижена до «спортивных» 200 миллисекунд.
И Илон Маск, в феврале покинувший OpenAI из-за конфликта интересов с Tesla, и некоторые профессиональные игроки верили в победу людей, но их надежды не оправдались: поражение Team Human было разгромным.
#AI bots just beat humans at the video game Dota 2. That’s a big deal, because their victory required teamwork and collaboration – a huge milestone in advancing artificial intelligence. https://t.co/UqIUhh9xFc
— Bill Gates (@BillGates) June 26, 2018
Боты показали, что:
- хорошо анализируют драфт (набирают персонажей, которые эффективно действуют вместе);
- превосходно играют один на один (что, впрочем уже было известно);
- весьма слаженно действуют в коллективных стычках.
Ничем другим они, однако, аудиторию не удивили. Когда в третьем матче драфт отдали на откуп аудитории, зрители набрали в команду ИИ персонажей, не подходящих для быстрых командных боев с самого старта матча, — и боты проиграли.
После этой победы до главного теста года, шоу-матчей на The International 2018 против лучших игроков планеты, оставалось еще несколько недель.
Профессионалы в Dota 2 наиграли от 12 до 20 тысяч часов за карьеру, чтобы достичь своего уровня. Боты наигрывают несколько человеческих жизней каждый день.
Успели ли они дорасти до уровня грандов? Это мы узнаем уже сегодня.
Смысл победы
В 1995 году «Шинук» сыграл свою последнюю игру против человека. Честь человечества в этом матче отстаивал ученик Тинсли и второй после него игрок в шашки на планете Дон Лафферти.
В 1994-м, когда Тинсли снялся с матча, Лафферти сыграл против машины матч из 20 игр, по сумме оказавшийся ничейным. В 1995-м он играл с «Шинуком» 32 игры: 31 закончилась ничьей, а одну выиграла машина. Человечество проиграло.
После матча создатель «Шинука», Джонатан Шеффер, заявил, что программа больше не будет играть против людей — займется «убийством» игры, поиском ее окончательного решения.
Двенадцать лет спустя в журнале Science вышла статья под коротким заглавием «Шашки решены». Шеффер добился своего. Он доказал, что идеально сыгранная партия в шашки всегда приводит к ничьей. Последние в жизни Тинсли партии не могли быть сыграны лучше: они с «Шинуком» выжали из игры все.
Последний громкий матч между человеком-гроссмейстером, Владимиром Крамником, и программой Deep Fitz закончился со счетом 4:2 в пользу машины и «ошибкой тысячелетия» в исполнении человека. После той игры, по мнению специалистов, соревноваться с компьютерами смысла нет: машины стали слишком сильными. Один из организаторов матча, комментируя итоги игры, сказал: «Не знаю, чего еще тут можно добиться. Наука с этим закончила».
Тем не менее шахматы не умерли. Сегодня профессиональные шахматисты по умолчанию используют в своей работе компьютеры, а на того, кто избегает подобной практики, смотрят с недоумением.
Машина наигрывает для человека те самые годы и века комбинаций, дает ему то время, которого у игроков попросту нет.
Шахматы еще очень далеко от того, чтобы быть решенными, и теперь эту задачу машины и люди атакуют вместе.
С конца 90-х начинают проходить игры в «продвинутые» шахматы, где друг против друга играют не два человека, а пары «человек — компьютер». Первый в истории матч в подобный «адванс» сыграл все тот же Каспаров, за год до этого проигравший Deep Blue.
Закончится ли «Дота» с победой OpenAI? Весьма и весьма маловероятно: чтобы грозить подобным, искусственному интеллекту по меньшей мере предстоит освоить игру еще сотней героев и разобраться с теми аспектами, которые в сегодняшних матчах будут ограничены.
Кроме того, ее разработчикам еще только предстоит изменить интерфейс взаимодействия программы с самой игрой. Сейчас, вместо того чтобы обрабатывать картинку на экране — как это делают люди-игроки, машина продолжает «подключаться» к игре по API, специальному интерфейсу для сторонних программ, и «видит» ее совсем не так, как люди. Именно с этим связан такой быстрый прогресс бота для «Доты» по сравнению со «Старкрафтом» — в DeepMind не пошли по легкому пути, а пытаются научить искусственный интеллект играть в ту самую игру, которую играют люди.
Поэтому — как бы удивительно это ни прозвучало — в победе машин над людьми заинтересованы, по-видимому, все стороны в матче. Так же, как и от проигрыша, по-видимому, потеряют тоже все. Демонстрация эффективности OpenAI позволила бы людям рассчитывать на помощь машин в поисках «решения» «Доты». А проигрыш не даст ничего, кроме сомнительного чувства своего белкового превосходства над своим же кремниевым созданием.
Александр Колодочка