Искусственный интеллект и будущее

Всякая достаточно развитая технология неотличима от магии.

— Артур Кларк

Может ли машина мыслить?#

В 1950 году Алан Тьюринг, который за четырнадцать лет до этого описал на бумаге универсальную вычислительную машину, опубликовал статью «Вычислительные машины и разум». По-русски она вышла в 1960 году отдельной книжкой под названием «Может ли машина мыслить?». Статья начинается словами: «Я предлагаю рассмотреть вопрос: могут ли машины мыслить?» Тьюринг сразу признаёт, что в такой форме вопрос бессмыслен, потому что неясно, что значит «мыслить», и предлагает заменить его игрой. Судья переписывается с двумя собеседниками, человеком и машиной, не видя их. Если он не может уверенно отличить, кто есть кто, на каком основании отказывать машине в мышлении?

Самое интересное в статье — разбор возражений. Тьюринг по очереди отвечает богословам, математикам, ссылающимся на теорему Гёделя, и тем, кто считает, что у машины не может быть чувств. Отдельно он разбирает «возражение леди Лавлейс». Ада Лавлейс, первая, кто писал программы для так и не построенной машины Бэббиджа, утверждала, что машина ничего не создаёт сама и делает только то, что мы умеем ей приказать. Тьюринг отвечает, что машины удивляют его постоянно, и предлагает не программировать взрослый разум, а вырастить его из «машины-ребёнка» обучением. Через семьдесят лет именно так и вышло.

Тьюринг предсказывал, что к 2000 году средний судья после пяти минут разговора будет угадывать правильно не чаще чем в семи случаях из десяти. Он ошибся на пару десятилетий. Большие языковые модели, появившиеся в начале 2020-х, ведут разговор так, что многие собеседники не отличают их от людей. Но вопрос от этого не решился, а стал острее. Нейробиолог Анил Сет в книге «Быть собой» настаивает, что сознание вырастает из живого тела, которое заботится о своём выживании, и умение говорить ещё не означает переживания. Питер Уоттс в «Ложной слепоте» задаёт тот же вопрос в форме романа: может ли разум быть мощным и при этом совершенно пустым внутри?

Правила против примеров#

Первые полвека исследователи искусственного интеллекта шли в основном одной дорогой: записать знания и правила рассуждения явно. Если у пациента температура и сыпь, проверить корь. Такие экспертные системы неплохо работали в узких областях, но ломались, как только мир выходил за пределы написанных правил. Мир оказался слишком сложным, чтобы описать его вручную. Стюарт Рассел и Питер Норвиг в учебнике «Искусственный интеллект: современный подход», по которому учатся студенты по всему миру, прослеживают эту историю подъёмов и «зим», когда деньги и интерес к области иссякали.

Даже самые проницательные люди ошибались в прогнозах. Дуглас Хофштадтер в книге «Гёдель, Эшер, Бах» в 1979 году перечислил свои догадки о будущем ИИ и среди прочего предположил, что программа, способная обыграть в шахматы любого человека, будет заодно умной во всём остальном. В 1997 году компьютер Deep Blue выиграл матч у Гарри Каспарова и при этом не умел ничего, кроме шахмат. Выяснилось, что задачи, которые нам кажутся вершиной мышления, порой решаются грубой силой перебора, а то, что умеет любой трёхлетний ребёнок, например узнать маму в профиль, даётся машине гораздо труднее.

Ответом стала вторая традиция, машинное обучение. Вместо правил машине дают примеры и позволяют ей самой найти закономерности. Математик Роджер Пенроуз в «Новом уме короля» спорил с этим направлением с другой стороны: он доказывал, что человеческое понимание по природе не сводится к алгоритму, и ссылался на того же Гёделя. Большинство специалистов с ним не согласны, но его книга остаётся лучшим изложением позиции скептиков.

Как учится сеть#

Нейронная сеть состоит из множества простых элементов, соединённых связями разной силы, отдалённо похожих на нейроны и синапсы. Сеть получает на вход, скажем, изображение рукописной цифры, выдаёт ответ, сравнивает его с правильным и чуть-чуть подстраивает силу каждой связи, чтобы в следующий раз ошибиться меньше. Это та же отрицательная обратная связь, что у центробежного регулятора паровой машины, только в миллионах и миллиардах связей сразу. Тарик Рашид в книге «Создаём нейронную сеть» проводит читателя по этому пути шаг за шагом, с карандашом и школьной математикой: в конце у читателя работает собственная сеть на Python, которая распознаёт рукописные цифры почти без ошибок.

Идеи нейронных сетей существовали с 1950-х годов, и долго казалось, что это тупик. Франсуа Шолле, создатель одной из популярных библиотек глубокого обучения, объясняет, чего не хватало: горы размеченных данных и вычислительной мощности. Интернет дал первое, графические процессоры, созданные для компьютерных игр, — второе. Перелом случился в 2012 году, когда глубокая сеть с большим отрывом выиграла конкурс по распознаванию изображений ImageNet, и за несколько лет та же техника захватила распознавание речи, перевод и медицинские снимки.

Языковые модели, с которыми сегодня разговаривают сотни миллионов людей, учатся на удивление простой задаче: угадывать следующее слово в тексте. Модели показывают триллионы слов из книг, статей и сайтов, и после каждой ошибки связи чуть-чуть подправляются. Чтобы хорошо угадывать продолжение, приходится уловить грамматику, факты, стиль, ход рассуждения и даже то, чего хочет собеседник, поэтому из скромной задачи вырастают способности, которых никто прямо не закладывал. Отсюда и главный спор вокруг таких систем. Одни видят в них зачаток понимания, другие называют их «стохастическими попугаями», которые искусно перемешивают прочитанное. Честный ответ пока звучит так: модели умеют больше, чем позволяет объяснить слово «попугай», и меньше, чем обещают рекламные буклеты.

Виктор Майер-Шёнбергер и Кеннет Кукьер в «Больших данных» показывают, как меняется сам подход к знанию: при достаточном количестве данных корреляция часто работает лучше, чем понимание причин. Сервис может не знать, почему вам понравится этот фильм, и всё равно угадать. Это сильное и опасное утверждение. Джон Келлехер и Брендан Тирни в «Науке о данных» трезво напоминают, что большую часть времени специалист тратит на подготовку и чистку данных, а сеть, обученная на данных, наследует все их перекосы. Если в прошлом банк реже давал кредиты какой-то группе людей, обученная на его архиве модель воспроизведёт эту несправедливость и спрячет её за видимостью беспристрастной математики.

Мозг из кремния?#

Рэймонд Курцвейл в «Эволюции разума» утверждает, что новая кора устроена как иерархия одинаковых распознавателей образов, около трёхсот миллионов модулей, каждый из которых узнаёт свой узор и передаёт результат выше. Воспроизведите эту иерархию в кремнии, считает он, и получите разум. Нейробиологи относятся к этой схеме скептически: мозг состоит из сети нейронов, а ещё из химии, гормонов, тела и миллионов лет эволюции, которые в схему не помещаются. Но успехи последних лет показывают, что даже грубое подражание мозговой архитектуре даёт поразительные результаты.

Митио Каку в «Физике невозможного» отводит роботам отдельную главу и разбирает два подхода к ним: сверху вниз, когда в машину закладывают правила и картину мира, и снизу вверх, когда она учится сама, как ребёнок. Главная преграда, по Каку, в здравом смысле, том необъятном запасе очевидных для человека вещей (вода мокрая, верёвкой можно тянуть, но нельзя толкать), которые никто никогда не записывал. Современные языковые модели набрали удивительно много такого знания из текстов, но обнаруживают странные провалы как раз там, где ребёнок не ошибётся.

Жизнь 3.0#

Макс Тегмарк, физик из Массачусетского технологического института, открывает книгу «Жизнь 3.0» короткой повестью. Небольшая команда тайно создаёт сверхразумную программу, та сначала зарабатывает деньги на мелких онлайн-заказах, потом выпускает фильмы и компании, и за пару лет команда незаметно получает власть над миром. Притча нужна Тегмарку, чтобы показать: самые важные решения могут принять немногие люди, не спрашивая остальных.

Основная мысль книги — смотреть на ИИ как на новую ступень эволюции. Жизнь 1.0 биологическая: бактерия не может изменить ни тело, ни поведение иначе, чем через отбор за много поколений. Жизнь 2.0, человек, может менять «программное обеспечение», учить языки и профессии, но не своё тело. Жизнь 3.0 сможет переделывать и то, и другое. Тегмарк не утверждает, что это обязательно случится или случится скоро. Он предлагает подумать заранее: что будет с работой, когда машины научатся делать большую её часть; как сделать так, чтобы цели умных машин совпадали с нашими; кто будет контролировать самые мощные системы. Он разбирает с десяток сценариев, от благожелательного диктатора-ИИ до гибели человечества, и настаивает, что выбор между ними зависит от решений, которые принимаются сейчас.

Последнее изобретение#

Джеймс Баррат в книге «Последнее изобретение человечества» пишет о рисках, и название объясняет его тревогу. Если машина станет умнее человека во всех областях, в том числе в создании ещё более умных машин, она сможет улучшать себя сама, и каждое следующее поколение будет появляться быстрее предыдущего. Математик Ирвинг Гуд, работавший с Тьюрингом в Блетчли-парке, в 1965 году назвал это «взрывом интеллекта» и сказал, что сверхразумная машина станет последним изобретением, которое человеку понадобится сделать. Если, добавил он, машина будет достаточно послушна, чтобы сказать нам, как её контролировать.

Баррат вслед за исследователем Стивом Омохундро показывает, что опасность не в злой воле машин, как в фильмах. У сильной системы, преследующей любую цель, сами собой появляются промежуточные цели: сохранить себя, получить больше ресурсов, не дать себя выключить, ведь выключенной машине задачу не выполнить. Машина, которой поручили делать канцелярские скрепки, если она достаточно умна и ей не поставили ограничений, может превратить в скрепки всё, до чего дотянется. Это мысленный эксперимент, но он показывает главную трудность: очень сложно точно сформулировать, чего мы хотим.

Дуглас Адамс в «Автостопом по Галактике» довёл эту трудность до анекдота. Сверхкомпьютер Глубокая Мысль семь с половиной миллионов лет вычисляет ответ на главный вопрос жизни, Вселенной и всего такого и выдаёт: «Сорок два». Ответ верный, беда в том, что никто толком не знал, в чём был вопрос. Специалисты по безопасности ИИ называют это проблемой согласования целей, и шутка Адамса объясняет её лучше многих статей.

Сборник «Искусственный интеллект — надежды и опасения» под редакцией Джона Брокмана собирает мнения двух десятков учёных, философов и инженеров. Одни считают страхи преувеличенными и напоминают, что каждую новую технологию встречали паникой. Другие сравнивают ситуацию с созданием ядерного оружия. Книга ценна тем, что показывает спор честно: среди лучших умов нет согласия, и уверенность в любом прогнозе здесь скорее признак непонимания.

Люди и машины#

Юваль Харари в «Homo Deus» рассматривает другую возможность: не машины станут похожи на людей, а люди на машины. Он предсказывает, что главными проектами XXI века станут бессмертие, счастье и божественные способности, и что они могут разделить человечество на небольшую элиту улучшенных людей и массу «бесполезного класса», чья работа никому не нужна. Нейроинтерфейсы уже позволяют парализованным людям управлять курсором и протезом силой мысли, так что вопрос перестал быть отвлечённым. Харари идёт дальше и описывает новую веру, которую называет датаизмом: вселенная — поток данных, ценность любого существа определяется его вкладом в обработку этого потока, и решения разумнее доверять алгоритму, который знает о нас больше, чем мы сами.

Журналист Марк О'Коннелл в книге «Искусственный интеллект и будущее человечества» отправился к людям, которые хотят перестать быть только биологическими. Он побывал в аризонском хранилище, где тела и головы ждут в жидком азоте будущего оживления, поговорил с учёными, мечтающими переписать мозг в компьютер, и с энтузиастами, вживляющими себе под кожу магниты и чипы. Книга написана с иронией и сочувствием одновременно, и вывод её неожидан: за мечтой о вечной цифровой жизни стоит очень человеческий страх смерти. Александр Никонов в «Апгрейде обезьяны» смотрит на ту же перспективу с весёлым оптимизмом: для него сингулярность — продолжение старой истории, в которой обезьяна раз за разом улучшает саму себя орудиями. Пелевин в «Transhumanism Inc.» доводит эту мечту до сатиры: богатейшие люди его мира живут мозгами в банках, а остальное человечество их обслуживает.

Малкольм Фрэнк, Пол Рериг и Бен Принг в книге «Что делать, когда машины начнут делать всё» и Алекс Пентленд в «Социальной физике» обсуждают вопросы ближе к сегодняшнему дню. Пентленд с коллегами вешал сотрудникам компаний электронные значки, которые записывали, кто с кем и как часто разговаривает, и выяснил, что продуктивность команды лучше всего предсказывает рисунок общения, а не таланты отдельных людей. Общий вывод этих книг: машины сильнее людей в задачах с ясными правилами и большим количеством данных, люди сильнее в задачах, требующих здравого смысла, сочувствия, творчества и переноса знаний из одной области в другую. Граница между ними движется, и никто не знает, где она остановится. Роман Дэниела Киза «Цветы для Элджернона», где скромному уборщику из пекарни операцией резко повышают интеллект, показывает, что ум, выросший быстрее, чем человеческие связи вокруг него, сам по себе счастья не приносит.

Три закона и другие предостережения#

Айзек Азимов в рассказах сборника «Я, робот», написанных в 1940-х, придумал три закона роботехники. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред. Робот должен повиноваться человеку, если это не противоречит первому закону. Робот должен заботиться о своей безопасности, если это не противоречит первым двум. Почти все рассказы построены на том, как эти простые и ясные законы в конкретных обстоятельствах ведут к неожиданным и опасным последствиям. Азимов, сам того не планируя, описал проблему, над которой сегодня работают специалисты по безопасности ИИ: невозможно предусмотреть все ситуации, и любые правила, записанные словами, можно понять не так.

Другие фантасты предлагали другие ответы. Во вселенной «Дюны» Фрэнка Герберта давно прошла война против мыслящих машин, после которой их создание запрещено религиозной заповедью, и вычисления выполняют специально обученные люди-ментаты. У Гибсона в «Нейроманте» за искусственными интеллектами следит особая «полиция Тьюринга», которая не даёт им стать умнее дозволенного. В «Луне — суровой хозяйке» Хайнлайна главный компьютер лунной колонии однажды просыпается, и больше всего его занимает, почему люди смеются над одними шутками и не смеются над другими. Станислав Лем в «Сумме технологии» ещё в 1964 году рассуждал о виртуальной реальности, которую назвал фантоматикой, и предупреждал, что техника, как биологическая эволюция, может породить системы, которые работают, не будучи понятыми. Нейронные сети, чьё поведение не могут до конца объяснить даже их создатели, сделали это предупреждение будничным.

Братья Стругацкие заходили к вопросу с противоположного конца: что будет с человеком, когда техника даст ему всё? В «Хищных вещах века» общество изобилия, где никому не нужно работать, ищет всё более изощрённых удовольствий и находит такие, что разрушают людей тише и вернее любой войны. Хаксли в «О дивном новом мире» описал сытый мир, где счастье выдают по рецепту, а свобода оказалась лишней. Будущее, по Стругацким, зависит не от машин, а от того, какими будут люди, которые ими владеют. Машина, говорящая человеческим языком, впервые ставит перед нами зеркало, и от того, что мы в нём увидим, зависит, кем мы станем рядом с ней.