Libratus победил человека в NLHE покер... Что дальше?

Когда профессор Томас Сандхольм дает пять своему юному аспиранту Ноаму Брауну, не похоже ли это на историю с Францом Фердинандом?

Пистолета нет.

Все живы.

Но после того, как искусственный интеллект (ИИ) Libratus выиграл более 120 000 рук в Heads-Up No-Limit Hold'em у четырех обычных людей, я почувствовал запах пороха, находясь в почти 6 500 тысячах километров оттуда.

Джейсон Лес (-880 097), Джимми Чу (-522 857), Даниэль МакОлэй (-277 657) и Донг Ким (-85 649) были разбиты машиной, которая оказалась для них слишком сильным противником. Окончательный разгром завершился с разницей в 1 776 25 фишек или 14 больших блайндов на 100 рук.

«Нас реально разгромили», — сказал МакОлэй после поражения.

Это поворотный момент для ИИ. Машины уже побеждали лучших игроков в шахматы, Atari и недавно в го. Но машина никогда не побеждала человека в игре с неполной информацией, до настоящего момента.

Libratus способен учиться на своих ошибках изо дня в день. Все четыре игрока сказали, что машина за 20 дней стала лучше, отбросив слабости, так же легко, как змея сбрасывает кожу.

В этом и заключается вся проблема.

У этой штуки нет границ.

Успехи в ИИ, которые помогли добиться этого исторического момента, в конечном итоге плохо скажутся на человечестве. Либо ИИ станет настолько умным, что уничтожит нас, как мы уничтожаем колонну муравьев, которые посмели вторгнуться в наш дом. Либо мы начнем использовать ИИ для уничтожения друг друга.

Люди интересуются, означает ли это конец онлайн-покера?

Забудьте об этом.

Это может означать конец света.

Размах интеллекта невообразим. Мы себе даже представить не можем, что произойдет, когда ИИ разовьется до такого уровня, что заменит собой наш крошечный набор атомов. И скорость этого развития не имеет значения. Кто-то дал Сизифу выходной. Камень уже покатился. И никто его не остановит.

Я знаю, о чем вы думаете.

Вы думаете, я фаталист.

И, возможно, вы правы, поэтому я связался с шестью профессиональными игроками в покер и Биллом Перкинсом из Берлинских медведей, чтобы узнать их мнение о Libratus и роли ИИ в покере и за его пределами.

Победит ли человек?

Прежде чем начался матч, я попросил своих гостей проголосовать, и 70% ответили, что у людей будет небольшое преимущество перед ИИ. Никто и не думал, что это будет уверенная победа, а большинство опрошенных уверяли, что победа будет несущественной.

«Я считал, что люди победят, и, несмотря на первый раунд, все еще думаю, что в алгоритме обнаружится брешь, которой можно будет воспользоваться», — сказал Билл Перкинс, член Берлинских медведей по версии Global Poker Index. «Мое чутье подсказывает, что программа не сможет учесть все варианты комбинаций и размер ставок своего противника. Это уже не говоря о том, что ИИ-игрок не может быть достаточно сильным. Я считаю, что одна из причин, почему разработчики скрывают принцип работы программы — это возможность использовать ее в собственных целях».

«Я ожидал, что люди победят, поскольку они довольно находчивы, чтобы использовать в своих целях шаблоны поведения ИИ, при этом не упуская основ в попытке "обдурить компьютер"», — сказал Ниман Кенкре, играющий под ником Samoleus.

«Я не думал, что ИИ настолько развился, — сказал Эндрю Барбер, обладатель браслета World Series of Poker (WSOP). — Но это было довольно глупо, учитывая темп развития ИИ и знаменитую картинку, предсказывающую сингулярность (точку, в которой интеллект компьютера обгоняет человечество) в следующие 10–15 лет».

Мэтт Эштон оказался единственным участником опроса, который никогда не сомневался, что Libratus победит.

«Люди не выиграют, — сказал Мэтт Эштон, бывший победитель чемпионата по покеру WSOP. — До начала матча я думал, что ИИ наверняка сильно улучшили по сравнению с прошлым годом, поэтому он должен стать фаворитом, а потому очень удивился, когда люди делали ставки 3 к 1 против ИИ на 2+2 и Pokershares».

Эштон говорит о матче между AI Claudico и четырьмя живыми игроками, который прошел в 2015 году. Люди выиграли игру с 7300 большими блайндами, но группа исследователей сказала, что они узнали достаточно, чтобы внести необходимые изменения и победить человека.

И они не солгали.

Вы боитесь, что ИИ выиграет и положит конец NLHE?

57% опрошенных боялись победы Libratus, но, как сказали Терренс Чан и Брайан Раст, его успех еще не означает крах NLHE. Это просто означает, что ИИ победил человека в матче Heads-Up NLHE.

«Победа не означает конец NLHE, — сказал Терренс Чан, профи покера и боец MMA. — До реального равенства в HU NLHE все еще довольно далеко, и я уверен, что люди из Карнеги — Меллон согласятся с этим».

«Существует разница между победой ИИ и крахом NLHE, — сказал Брайан Раст, игрок, многократно выигрывавший браслет WSOP. — Также учитывайте, что это HU NLHE, а не NLHE в целом. ИИ не «положил конец» HU NLHE».

Брайан Пэрис выиграл 10 миллионов долларов в онлайн-покер, поэтому его действительно беспокоит победа Libratus.

«Конечно, меня это волнует, — говорит Пэрис. — Это может лишить мою работу смысла».

Брайан Раст также переживает за будущее онлайн-покера.

«Я уже думал, что дни онлайн-покера сочтены, а это еще больше укрепляет мою веру в это», — говорит Раст.

Мэтт Эштон и Чан думают, что всегда ощущалась некая неизбежность относительно развития ИИ и будущего онлайн-покера.

«Люди, побеждающие ИИ, должны вселять больше уверенности, что онлайн-покер проживет еще немало, но пока кажется, что этого не избежать, — говорит Эштон.

«Поскольку это касается меня, как и любого другого игрока в покер, компьютеры неизбежно станут лучше людей, поэтому мне уже не особо важно, произойдет это сейчас, в следующем году или в 2020», — говорит Чан.

Эндрю Барбер верит, что последствия победы ИИ будут намного шире, нежели просто лишение заработка игроков в онлайн-покер.

«Я хотел, чтобы эта игра была сложнее по личным эгоистичным причинам, но я хочу использовать эту возможность в качестве учебного момента, — говорит Барбер. — Если уж на то пошло, это показывает, что компьютеры доберутся до профессий, требующих достаточного уровня интеллекта, поэтому стоит начать обсуждать, что мы будем делать с теми, кого заменят машины. Вполне вероятно, что у нас окажется недостаточно работы».

Я согласен с Барбером.

Согласно данным Бюро статистики труда, в 2014 году в Америке было 1,6 миллиона водителей грузовиков, более половины процента населения, с доходностью на уровне 0,3% ВВП США.

Сколько осталось до того момента, когда люди перестанут управлять грузовиками, самолетами, кораблями, автобусами, поездами?

Если ИИ выиграл, означает ли это, что профессия игрока в онлайн-покер мертва?

Среди опрошенных Брайан Раст был единственным, кто определенно ответил, что конец онлайн-покера близок, хотя он утверждает, что, по его мнению, проблемы онлайн-покера начались задолго до создания Libratus.

«Онлайн-покер умирает, но это происходит уже давно, — говорит Раст. — Это переломный момент переходного процесса, который уже начался».

Некоторые из опрошенных считают, что онлайн-покер Heads-Up в беде, но в целом эта индустрия выживет.

«В крайнем случае точно исчезнут крупные ставки», — говорит Брайан Пэрис.

«Разновидности Heads-Up — точно, — говорит Эндрю Барбер. — Я считаю, что игры, в которых три или больше игроков, точно нельзя уничтожить, но я могу ошибаться».

Вопрос «мертв ли онлайн-покер» во многом зависит от способности онлайн покер-румов предотвратить распространение ботов в результате развития ИИ. В этой теме хорошо разбирается Ниман Кенкре.

«Все зависит от того, насколько хорошо сайты могут обнаруживать и блокировать ботов, — говорит Ниман Кенкре. — Некоторые контрмеры довольно несложно реализовать, если сайтам важна их целостность с этой точки зрения. Но это определенно не поможет. Понятно, что онлайн-покер не процветает как 7–8 лет назад, поэтому, если ИИ станет более развитым, это будет еще один удар, хотя и не обязательно конец».

Терренс Чан и Мэтт Эштон считают, что есть еще порох в пороховницах.

«Конечно, нет, — отвечает Терренс Чан на вопрос, погиб ли покер. — Есть и другие игры, кроме 200bb HUNL. Даже несмотря на то, что Альбертский университет полностью уничтожил HU LHE, люди продолжают играть в LHE онлайн».

«Определенно, пока нет, — говорит Мэтт Эштон. — Я тоже считаю, что в смешанные мульти-игры ИИ еще долго не сможет вникнуть, и, возможно, это даже не стоит затраченной вычислительной мощности, при этом я даже не говорю о количестве ходов. Мне кажется, игры скорее всего останутся с определенными ставками для людей, которых не особо волнует существование ботов и возможность им проиграть, и я не думаю, что несколько человек не смогут заработать себе на жизнь в таких играх. Но вполне вероятно, что в будущем в этой профессии останется очень мало места».

Билл Перкинс представляет себе мир, в котором люди будут с удовольствием соревноваться с ботами, аналогично тому, как гроссмейстер Гарри Каспаров обратил внимание на возможность сотрудничества между человеком и ИИ в шахматах после того, как он проиграл ИИ Deep Blue.

«Я считаю, что в сети уже есть боты, которые играют лучше среднего человека, могут играть в кэш игры и отлично справляться под присмотром человека, — говорит Перкинс. — Я не думаю, что онлайн-покер мертв, хотя он изменится, так как распространение все более сильных ИИ «разрушит» покер. Возможно, люди будут намеренно играть с ботами, может ценность профи в онлайн-мире упадет, так как любители в реальном времени получат обратную связь в отношении того, как они играют. Онлайн-покер изменится».

Выиграет ли когда-нибудь ИИ браслет WSOP?

Учитывая, что World Series of Poker (WSOP) недавно объявили о проведении в следующей серии трех онлайн-событий на браслеты, а также основываясь на мнении Билла Перкинса, что однажды люди начнут сознательно играть в покер, увидим ли мы, как ИИ выиграет браслет?

Подавляющее большинство ответило «нет», хотя было несколько интересных комментариев в отношении использования ИИ в живых турнирах.

«ИИ может легко выиграть браслет WSOP, если его позволят использовать в игре живому игроку, — говорит Пэрис. — Может, если Google-очки станут достаточно мощными? На это вряд ли уйдет много лет».

«Я бы поставил много денег против ИИ даже играя на WSOP примерно до 2025 года, — говорит Терренс Чан. — В обозримом будущем покер скорее всего продолжит существовать в том виде, в котором он есть сейчас — самые яркие и умные игроки будут использовать программные инструменты вне стола, чтобы еще глубже изучить покер и иметь возможность использовать более продвинутые стратегии за реальными и онлайн-столами. Так как за столом не допускаются компьютеры, лучшими игроками будут те, кто лучше всех сможет интегрировать знания, полученные из программы, в свои хрупкий человеческий мозг».

Перкинс дал неплохой комментарий по поводу игры «с помощью компьютера».

«Я не думаю, что ботам позволят играть на WSOP, но то, что мы видим — это игра с помощью компьютера, — говорит Билл Перкинс. — Например, после каждой руки вы можете посмотреть свою позицию в таблице Snap Shove, чтобы принять решение по поводу следующей руки... далее таблица Snap Shove может включать стеки других игроков и исторические диапазоны, чтобы вы могли их угадать, и чтобы дать вам ваш диапазон колла/фолда и пр.

«Профи уже отлично играют в стандартный покер, адаптируясь к диапазонам и ходам других игроков... уже сейчас новичок может играть на уровне профи в турнире со ставками ниже 15bb с помощью таблиц Snap Shove, которые допускаются, если они не на руках. Последовательные итерации этого еще активнее подталкивают нас к сотрудничеству между человеком и машиной.

«Я представляю себе, что однажды появится приложение, которое позволит легко делать заметки об игре за столом или записывать голос. Голосовая заметка будет конвертироваться в данные, а потом, в течение перерыва или после каждой руки, можно будет получить простые обновленные таблицы, что делать с каждым игроком, которые человек легко запомнит».

Ниману Кенкре понравилась идея посоревноваться с ботом.

«Не вижу проблемы в игре против бота, — говорит Ниман Кенкре. — Мне кажется, это будет даже круто. Интересно поразмыслить над тем, как адаптировать и оптимизировать свою игру под бота».

Мэтт Эштон предпочел бы посмотреть на игру между ботами.

«Мне не нравится сама идея игры против ботов, — говорит Мэтт Эштон. — Мне кажется, боты должны участвовать в своих собственных соревнованиях, а люди с их ничтожными способностями должны соревноваться между собой».

Выиграет ли когда-нибудь ИИ WSOP? «Может, если Google-очки станут достаточно мощными?

Создатель Libratus сказал, что NLHE был «последним бастионом» в теории игр между ИИ и человеком. Основной целью создания Libratus было разработать ИИ общего уровня развития, который сможет прижиться в этом мире. Вас это беспокоит?

Если отойти от покера, сколько из наших специалистов, как и я, боятся влияния, которое ИИ окажет на мир в целом с точки зрения существования. Похоже, они разделились на три лагеря — тех, кто боится, кто не боится и кто не уверен.

Терренс Чан предпочитает акцентировать внимание на том, что хорошего ИИ может принести в наш мир.

«Всегда существовало некоторое беспокойство по поводу того, что роботы, вроде Терминатора, завоюют мир и убьют нас всех. Но история человеческой цивилизации заключается в том, что технологии улучшали человечество, несмотря на то, что каждое существенное технологическое открытие (в то время) имело сильные потенциально негативные последствия, — говорит Терренс Чан. — Печатная пресса, паровой двигатель, автомобиль, расщепление атома — все это воспринималось как потенциально опасное и в определенной степени таковым и было, но я бы сказал, что все они сделали человечество в целом лучше».

Брайан Раст испытывает смешанные чувства.

«Потенциал более мощного ИИ решать проблемы колоссален, и мы должны радоваться возможностям человечества, — говорит Брайан Раст. — Но с другой стороны, существуют некоторые проблемы. Та же мощь может использоваться в плохих целях (как и любая другая мощная технология). И сам по себе ИИ может стать для человека причиной экзистенциального кризиса. Есть одна довольно популярная теория сингулярности — идея заключается в том, что если и когда ИИ станет разумным, он сразу же станет намного умнее человека, и может решить уничтожить нас, если мы будет недостаточно внимательно относиться к тому, как он создается и программируется».

И мнение пессимистов:

«Меня очень пугает внедрение ИИ в мире как по вполне очевидным, так и неочевидным причинам, — говорит Билл Перкинс. — Когда вводится новая технология, она должна улучшать жизнь, но всю выгоду получают только богатые и очень богатые, создавая еще большее финансовое неравенство.

«ИИ — это один из наиболее быстрых способов создания имущественного неравенства. Такое неравенство в конечном итоге приводит к агрессии, хаосу, преступности и нестабильности. Если сравнивать современного бедного человека в США и короля Георга III, современный бедный человек по многим показателям, возможно даже по всем, лучше. А преступность и отчаянье вызывает относительное богатство.

«ИИ может радикально сместить распределение богатства. Представьте себе, что ИИ решит проблему старения для определенных людей, которые смогут жить до 200 или 500 лет — такая разновидность относительной депривации просто катастрофична. Именно это беспокоит меня в отношении сингулярности и ИИ — многие люди умирают или начинается хаос, когда мы приближаемся к сингулярности, поэтому мы никогда к ней не подберемся, или это увидят единицы выживших. Люди должны быть готовы к этому, так как мы движемся к обществу, в котором исчезнут все профессии, связанные с вождением, большинство профессий в производстве и некоторые в программировании и пр. Тем временем, как эти люди будут получать ресурсы? Преступность кажется вполне рациональным решением в данном случае».

Мэтт Эштон и Эндрю Барбер одинаково обеспокоены.

«Я не совсем понимаю потенциальную опасность ИИ, но в краткосрочной перспективе я жду от улучшения ИИ только положительных моментов, — говорит Эштон. — В то же время, могу себе представить, что это в конечном итоге зайдет слишком далеко, и ИИ максимизирует те функции, которые конфликтуют с моральными принципами многих людей».

«Меня это очень беспокоит, — говорит Эндрю Барбер. — В Кремниевой долине и прочих местах есть много людей, которые переживают по поводу того, какую угрозу существования представляет для нас ИИ».

«Размах интеллекта невообразим»

Вас волнует, что произойдет через 100 лет?

Что касается большинства из нас, мы уже не увидим, как человечество деградирует до обезьян после того, как ИИ заберет пальму первенства.

Я опросил наших участников, беспокоит ли их судьба мира через 100 лет, и ответ оказался единодушно положительным.

«Меня действительно волнует, что произойдет через 100 лет, — говорит Билл Перкинс. — Есть большая вероятность того, что мои дети будут живы, и будут наслаждаться или страдать от того, что происходит в мире, и совсем небольшой шанс того, что я буду с ними.

«Одна из важнейших задач человечества — забота о других людях, которые с нами непосредственно не связаны. Это одна из основных причин, почему в этом мире до сих пор столько страданий. Ввиду времени и расстояния (родства), это та же самая проблема; вопрос на самом деле заключается в том, насколько меня волнует, что произойдет через 100 лет. Так же вы могли спросить меня, достаточно ли меня волнуют голодающие дети или дети в зонах военных действий».

«Да, но довольно сложно заранее предсказать возможные проблемы, — говорит Ниман Кенкре. — Я очень верю в ум и душу человечества. Я считаю, что люди будут и дальше изобретать что-то новое в поисках решений проблем, которые появятся в будущем».

«Да, в некоторой степени это меня волнует. Это одна из причин, по которой я считаю глобальное потепление одной из важнейших проблем», — говорит Брайан Раст.

Эндрю Барбер считает, что у нас есть более важные проблем, чем размышлять о мире через 100 лет.

«Я считаю, нам нужно беспокоиться в первую очередь о том, как нам туда попасть, — говорит Эндрю Барбер. — Люди сильно недооценивают свое будущее. Сначала нужно решить несколько серьезных проблем, которые уже маячат на горизонте, например, изменение климата или «ИИ-убийцу».

Какие эмоции ИИ вызывает у участников?

Я спросил своих гостей, что они думают об ИИ.

«Я оптимист, поэтому у меня больше надежды, чем страха, но я считаю, что это сильно изменит общество, и люди пока не могут представить как», — говорит Брайан Пэрис.

«Моментальная реакция может оказаться негативной, но в целом у меня к этому положительное отношение», — говорит Террен Чан.

«Я восхищен, но в то же время мне страшно, — говорит Билл Перкинс. — Люди часто злоупотребляют технологиями и новыми изобретениями, будь то взрывчатые вещества, биотехнологии, химикаты, физика и пр. ИИ можно эффективно применять во многих сферах, но это инструмент вроде ножа или ядерной энергии, за исключением того, что он намного мощнее и имеет намного большие последствия».

«Трепет и скептицизм», — говорит Эндрю Барбер.

Что, по вашему мнению, произойдет с индустрией азартных игр через 50 лет, если ИИ разовьется до сверхчеловеческого разума?

Многие считают, что азартные игры никуда не денутся, просто будут существовать совсем другом мире.

«Конечно же, онлайн-покер вымрет, — говорит Брайан Пэрис. — Думаю, люди все равно будут делать ставки на спорт и ходить в казино. Живой покер может выжить, поскольку там запрещено пользоваться мощными компьютерами. У людей в целом появится больше времени на азартные игры, так как большинство профессий потеряют смысл».

«Азартные игры — это одна из тех вещей, которые существуют только потому что они влияют на первобытные области нашего мозга, которые нам трудно контролировать, — говорит Терренс Чан. — Возможно, через 50 лет мы будем иметь имплантаты в мозгу, с помощью которых мы сможем усилить или ослабить выброс дофамина, и нам больше не понадобятся азартные игры, секс или еда, чтобы этого добиться, но если нет, тогда азартные игры точно сохранятся».

«Возможно, в конечном итоге, ИИ придет к выводу, что азартные игры — это плохое занятие для мира, и заставит людей от них избавиться», — говорит Мэтт Эштон.

«Мне кажется, этой яме все равно, насколько умнеют люди!» — говорит Эндрю Барбер.

«Я считаю, что никто не будет играть в покер онлайн на крупные деньги, — говорит Брайан Раст. — Скорее, в него будут играть как сегодня в шахматы. Мне кажется, что в покер будут и дальше играть вживую, и на турнирах людям будет запрещено использовать вспомогательные технологии.

«Я думаю, что «азартные игры» за рамками покера все равно будут существовать в форме казино и прочих, потому что ИИ не влияет на решение людей поставить свои деньги на игры -EV. Это просто плохие решения людей, которые будут существовать всегда», — говорит Брайан Раст.

Плохие решения человека?

Я не могу забыть последние слова Брайана.

Именно этим и является Libratus?

Неужели команда Карнеги — Меллон приняла плохое решение?

Именно Сэм Харрис напомнил мне, что электронные схемы работают в миллион раз быстрее биохимических, что означает, что ИИ может прогонять 20 000 лет «работы» в неделю. Как нам хотя бы измерить, что это означает для человечества?

Никак.

Но я хочу поблагодарить семерых участников моего опроса за их блестящие ответы.

Брайан Пэрис, Терренс Чан, Билл Перкинс, Ниман Кенкре, Мэтт Эштон, Эндрю Барбер и Брайан Раст.