Архитекторы интеллекта. Вся правда об искусственном интеллекте от его создателей бесплатное чтение

Мартин Форд
Архитекторы интеллекта. Вся правда об искусственном интеллекте от его создателей

Посвящается Сяо-Сяо, Элейн, Колину и Тристану

© ООО Издательство "Питер", 2019

Вступление

Мартин Форд

Футуролог, эксперт в области искусственного интеллекта, консультант по расчетам индекса робототехники Rise Of The Robots В Societe Generale, предприниматель из кремниевой долины, член совета директоров и инвесторов компании Genesis Systems

Мартин Форд – автор книг «Роботы наступают: развитие технологий и будущее без работы»^[1] (отмечена премией Financial Times & McKinsey Business Book of the Year, переведена более чем на 20 языков) и «Технологии, которые изменят мир»^[2]. Писал о технологиях будущего для The New York Times, Fortune, Forbes, The Atlantic, The Washington Post, Harvard Business Review, The Guardian и The Financial Times. Выступал на многочисленных радио- и телешоу, в том числе на NPR, CNBC, CNN, MSNBC и PBS. Часто делает доклады о влиянии ИИ на экономику, рынок труда и общество будущего (наиболее известно выступление на конференции TED 2017 г.). Получил степень бакалавра в области вычислительной техники в Мичиганском университете в Анн-Арборе и степень магистра бизнеса в Калифорнийском университете в Лос-Анджелесе (UCLA). В компании Genesis Systems участвует в разработке автоматизированных систем с автономным питанием, генерирующих воду непосредственно из воздуха.

Искусственный интеллект (ИИ) быстро переходит из области научной фантастики в повседневную жизнь. Современные устройства понимают человеческую речь, способны отвечать на вопросы и выполнять машинный перевод. В самых разных областях, от управления беспилотным автомобилем до диагностирования рака, применяются алгоритмы распознавания объектов на базе ИИ, возможности которых превосходят человеческие. Крупные медиакомпании используют роботизированную журналистику, создающую из собранных данных статьи, подобные авторским. Очевидно, что ИИ готов стать одним из важнейших факторов, формирующих наш мир, являясь по-настоящему универсальной технологией, такой как электричество.

В последние годы в СМИ широко освещаются достижения в области ИИ. Бесчисленные статьи, книги, документальные фильмы и телепрограммы предсказывают новую эру, мешая в одну кучу анализ фактических данных с ажиотажем, спекуляциями и даже нагнетанием паники. Говорят, что через несколько лет дороги полностью захватят беспилотные автомобили, оставив без работы водителей грузовиков и такси. В некоторых алгоритмах машинного обучения обнаружили признаки дискриминации по расовому и половому признакам. Неясно, как повлияет на конфиденциальность распознавание лиц. Роботы могут стать оружием. А обладающие интеллектом машины представляют угрозу существованию человечества. Свое мнение озвучивают многие общественные деятели, которые не являются экспертами в сфере ИИ. Радикальнее всего выступил Илон Маск, заявивший, что разработки ИИ сродни призыву демонов и опаснее ядерного оружия. Даже Генри Киссинджер и Стивен Хокинг публиковали мрачные прогнозы.

Поэтому мне хотелось бы рассказать о том, что такое ИИ, и осветить связанные с ним возможности и риски. Для этого я провел серию интервью с выдающимися учеными и предпринимателями, занимающимися ИИ. Многие из них лично повлияли на трансформацию окружающего нас мира; другие – основали компании, которые расширяют границы ИИ, робототехники и машинного обучения.

Разумеется, сформированный мной список субъективен – в развитии ИИ участвует множество профессионалов. Но я уверен, что почти любой человек, обладающий глубокими знаниями в этой области, поддержит мой выбор. Всех этих людей можно без преувеличения назвать творцами ИИ, приближающими начало новой научно-технической революции.

В интервью я старался задать наиболее острые вопросы, появившиеся в процессе развития ИИ. Какие подходы и технологии считаются наиболее перспективными? Какие крупные открытия возможны в ближайшие годы? Можно ли создать по-настоящему мыслящую машину или ИИ, сравнимый с человеческим, и как скоро? Какие риски и угрозы связаны с ИИ и как их избежать? Требуется ли для этой области государственное регулирование? Вызовет ли ИИ хаос в экономике и на рынке труда? Смогут ли суперинтеллектуальные машины выйти из-под контроля человека и превратиться в реальную угрозу? Нужно ли беспокоиться о «гонке вооружений» в области ИИ?

Разумеется, предсказать будущее невозможно. Тем не менее эксперты знают о текущем состоянии технологий, а также об инновациях ближайшего будущего больше, чем кто бы то ни было. Поэтому их мысли и мнения заслуживают внимания. Помимо ИИ, мы обсудили образование, карьеру и исследовательские интересы, поэтому чтение будет увлекательным и вдохновляющим.

Искусственный интеллект – это широкая область исследований, сопряженная с множеством дополнительных дисциплин. Многие из моих собеседников совмещали работу в нескольких областях. Сейчас я кратко расскажу, как опрошенные относятся к наиболее важным инновациям в исследованиях ИИ и задачам будущего. Основная информация о каждом из них будет приведена в начале соответствующего интервью.

Подавляющее большинство достижений сферы ИИ последнего десятилетия – от распознавания лиц до машинного перевода и победы в игре го – основаны на технологии глубокого обучения, или глубоких нейронных сетей. Искусственные нейронные сети, в которых программно эмулируется структура и взаимодействие нейронов головного мозга, появились примерно в 1950-х гг. Простые версии этих сетей могли решать элементарные задачи по распознаванию объектов на изображениях, что сначала вызывало сильный энтузиазм. Однако к 1960 г., частично из-за критики Марвина Минского – одного из пионеров ИИ, – нейронные сети потеряли популярность, а им на смену пришли другие подходы.

В течение примерно 20 лет, начиная с 1980-х гг., небольшая группа исследователей продолжала верить в технологию нейронных сетей и продвигать ее. Среди них выделялись Джеффри Хинтон (Geoffrey Hinton), Иошуа Бенджио (Yoshua Bengio) и Ян Лекун (Yann LeCun). Они не только внесли вклад в лежащую в основе глубокого обучения математическую теорию, но и первыми стали продвигать технологию «глубоких» сетей с несколькими слоями искусственных нейронов. Им удалось донести идею нейронных сетей до времен экспоненциального роста вычислительных мощностей и увеличения объема доступных данных. В 2012 г. команда аспирантов Хинтона из Университета Торонто победила в конкурсе по распознаванию объектов на изображениях.

После этого события глубокое обучение стало общедоступным. Большинство крупных технологических компаний – Google, Facebook, Microsoft, Amazon, Apple, Baidu и Tencent – инвестировали огромные суммы в новую технологию, чтобы использовать ее в своем бизнесе. Разработчики микропроцессорных и графических чипов (GPU), такие как NVIDIA и Intel, переорганизовали бизнес под создание оборудования, оптимизированного для нейронных сетей. Именно глубокое обучение сегодня раскрывает сферу ИИ.

Такие ученые, как Эндрю Ын (Andrew Ng), Фей-Фей Ли (Fei-Fei Li), Джефф Дин (Jeff Dean) и Демис Хассабис (Demis Hassabis), используют современные нейронные сети в таких областях, как поисковые системы, компьютерное зрение, беспилотные автомобили и универсальный ИИ. Это признанные лидеры в области преподавания, управления и предпринимательства на базе технологии нейронных сетей.

Однако глубокое обучение подвергается критике. Ряд ученых считают его «одним из инструментов в наборе», утверждая, что для дальнейшего прогресса нужны идеи из других областей. Барбара Грош (Barbara Grosz) и Дэвид Ферруччи (David Ferrucci) занимаются проблемами понимания естественного языка. Гари Маркус (Gary Marcus) и Джош Тененбаум (Josh Tenenbaum) изучают человеческое познание. Орен Этциони (Oren Etzioni), Стюарт Рассел (Stuart Russell) и Дафна Коллер (Daphne Koller) специализируются на вероятностных методах. Джуда Перл (Judea Pearl) за работу по вероятностным (или байесовским) подходам к ИИ и машинному обучению получил премию Тьюринга.

Сфера робототехники также развивается благодаря таким ученым, как Родни Брукс (Rodney Brooks), Даниэла Рус (Daniela Rus) и Синтия Бризил (Cynthia Breazeal). Бризил вместе с Раной эль Калиуби (Rana El-Kaliouby) – первопроходцы в построении систем, умеющих распознавать эмоции, реагировать на них и вступать в социальные взаимодействия с людьми. Брайан Джонсон (Bryan Johnson) основал компанию Kernel, направляющую технологии ИИ в развитие человека.

По моему мнению, особый интерес представляют три основные темы, поэтому они будут рассматриваться в каждом интервью. Первая касается автоматизации человеческого труда, ведущей к росту безработицы. Глубже всего эту тему раскрыл Джеймс Маника (James Manyika) – глава Глобального института McKinsey (MGI), где активно исследуется влияние технологий на рынок труда.

Второй вопрос, который я задавал всем, касается ИИ, сравнимого с человеческим. Это так называемый сильный ИИ (artificial general intelligence, AGI), который был недостижимой мечтой. Демис Хассабис рассказал, что предпринимается в компании DeepMind, которая является крупнейшей и наиболее финансируемой инициативой по исследованиям сильного ИИ. Дэвид Ферруччи, руководивший разработкой суперкомпьютера IBM Watson, – генеральный директор стартапа Elemental Cognition, – описал создание сильного ИИ путем эффективного применения понимания языка. Важные идеи высказал и Рэймонд Курцвейл (Raymond Kurzweil) – автор книги Singularity is Near («Сингулярность уже близка»), в настоящее время руководящий проектом Google, связанным с обработкой естественного языка.

Всем я задал вопрос: «К какому году с вероятностью 50 % будет создан ИИ уровня человеческого?» Большинство предпочло поделиться своими предположениями анонимно. Двое из опрошенных выразили желание официально поделиться своей точкой зрения. Результаты этого опроса приведены в конце книги. Вы увидите, как мнения по важным темам зачастую кардинально расходятся, что представляет собой один из наиболее интересных аспектов данной книги.

Третья обсуждаемая тема связана с последствиями прогресса в области ИИ, ожидаемыми как в ближайшем, так и в отдаленном будущем. Становится очевидной проблема уязвимости взаимосвязанных автономных систем к атакам через интернет. Также выявлена предрасположенность алгоритмов машинного обучения к предвзятости по расовому и половому признакам. Многие из моих собеседников подчеркнули важность решения этой проблемы и рассказали об исследованиях в этой области. Некоторые дали оптимистический прогноз, предположив, что ИИ поможет нам избавиться от предвзятости и дискриминации.

Многих волнует опасность появления полностью автономного оружия. В сообществе исследователей ИИ существует мнение, что роботы или дроны, способные убивать без контроля человека, в конечном итоге могут стать не менее опасными, чем биологическое или химическое оружие. В июле 2018 г. более 160 компаний и 2400 исследователей (среди которых есть мои собеседники) подписали соглашение о запрете производства смертоносных алгоритмов^[3].

Более отдаленной и умозрительной является проблема несоответствия собственных целей сильного ИИ с желаниями человека. Этой темы касались почти все мои собеседники. Чтобы адекватно и рационально осветить эту проблему, я поговорил с Ником Бостромом (Niсk Bostrom) из оксфордского Института будущего человечества (Future of humanity institute, FHI) – автором бестселлера «Искусственный интеллект: этапы, угрозы, стратегии»^[4], в котором тщательно рассматриваются потенциальные риски, связанные с машинами, интеллектуально превосходящими человека.

Создатели интеллекта

Интервью для этой книги проводились с февраля по август 2018 г. Практически все они длились не меньше часа, а некоторые существенно дольше. Записанные, транскрибированные, а затем отредактированные командой издательства Packt тексты я дал своим собеседникам на проверку. Уверен, что книга верно отражает мысли респондентов.

Эксперты, с которыми я общался, имеют разное происхождение и сотрудничают с разными компаниями. Но вы быстро обнаружите, насколько сильно влияние Google на сообщества, связанные с ИИ. Из двадцати трех специалистов у семи есть или были связи с Google или холдингом Alphabet. Много талантливых людей работает в Массачусетском технологическом институте (MIT) и Стэнфорде. Джеффри Хинтон и Иошуа Бенджио представляют университеты Торонто и Монреаля соответственно, а правительство Канады ведет четкую промышленную политику, ориентированную на робототехнику и ИИ. В Соединенных Штатах работали 19 из 23 опрошенных, но больше половины из них родились за пределами США: в Австралии, Китае, Египте, Франции, Израиле, Родезии (ныне Зимбабве), Румынии и Великобритании. Это ярко иллюстрирует роль иммиграции квалифицированных кадров в технологическом лидерстве США.

Проводя интервью, я все время помнил, что книгу будут читать самые разные люди, от специалистов по теории вычислительных машин и систем до менеджеров и инвесторов. Но самая важная часть аудитории – молодые люди, которые могут задуматься о карьере в области ИИ. Сейчас в ней наблюдается дефицит кадров, особенно специалистов с навыками глубокого обучения, что дает возможность для хорошего карьерного роста. В настоящее время прилагаются усилия по привлечению в отрасль талантливых специалистов, и уже широко признается необходимость профессиональной интеграции.

Около четверти опрошенных мной – женщины. Здесь их доля выше, чем в сфере ИИ и машинного обучения в целом. Согласно недавним исследованиям, женщины составляют примерно 12 % ведущих сотрудников в области машинного обучения^[5]. В процессе интервью многие подчеркивали необходимость увеличения доли как женщин, так и представителей меньшинств.

Одна из моих собеседниц уделяет особое внимание многообразию в области ИИ. Фей-Фей Ли из Стэнфорда – соучредитель AI4ALL^[6], устраивающей летние учебные лагеря для старшеклассников из мало представленных в этой сфере групп. AI4ALL получила поддержку отрасли, а также грант от Google, и теперь такие программы проводятся в шести американских университетах. В этом направлении еще многое предстоит сделать, но основания для оптимистических прогнозов уже есть.

Хотя книга рассчитана на широкий круг читателей, в тексте будут встречаться специальные понятия и термины. Если вы ранее ничего не знали об ИИ, то я рад, что вас познакомят с ним ведущие специалисты, и рекомендую вам начать с краткого словаря, приведенного ниже. В интервью Стюарта Рассела – соавтора ведущего учебника по ИИ – вы найдете объяснение ключевых концепций области.

Возможность взять эти интервью была для меня честью. Надеюсь, вы тоже увидите в моих собеседниках вдумчивость, умение рассказывать и глубокую приверженность идее работы на благо человечества. Чего в книге нет, так это единодушия. Она наполнена разнообразными, зачастую резко противоречивыми представлениями, мнениями и прогнозами. Понятно только одно: ИИ – широко открытое пространство. Можно строить предположения о природе будущих инноваций, скорости их появления и конкретных вариантах их применения. Именно из-за этой комбинации потенциальной разрушительности с фундаментальной неопределенностью необходим содержательный и всеобъемлющий разговор о будущем ИИ и его влиянии на наш образ жизни. Надеюсь, моя книга внесет в него свой вклад.

Краткий словарь терминов

В нескольких интервью углубленно рассматриваются методы, используемые в сфере ИИ. Для понимания материала специальных знаний не требуется, но встречающиеся термины желательно знать. Вот объяснение наиболее важных из них. Если вы сочтете какой-то раздел технически сложным и запутанным, просто пропустите его и переходите к следующему.

Машинное обучение (machine learning) – раздел ИИ о методах построения алгоритмов, способных обучаться на данных. Другими словами, алгоритмы машинного обучения – это компьютерные программы, которые, по сути, программируют сами себя, просматривая информацию. Раньше считалось, что «компьютеры совершают только те действия, которые были запрограммированы», но эта ситуация меняется. Среди многочисленных типов алгоритмов машинного обучения самый революционный (и привлекающий всеобщее внимание) – это глубокое обучение.

Глубокое обучение (deep learning) – вид машинного обучения, в котором используются глубокие (или многоуровневые) искусственные нейронные сети (artificial neural networks), то есть программное обеспечение, имитирующее работу нейронов мозга. Глубокое обучение послужило основной движущей силой развития ИИ.

Есть и другие термины, которые, скорее всего, новичкам покажутся сложными. Без их глубокого понимания вполне можно обойтись, но краткое пояснение лишним не будет.

Метод обратного распространения ошибки (backpropagation) – алгоритм, используемый в системах глубокого обучения. Информация, поступающая в нейронную сеть, распространяется обратно через слои нейронов, вызывая у некоторых из них изменение настроек – весов (см. ниже «Обучение с учителем»). Так постепенно сеть находит правильный ответ. В 1986 г. Джеффри Хинтон стал соавтором первой полноценной статьи на эту тему, о чем более подробно вы узнаете из интервью с ним.

Еще более непонятный термин – градиентный спуск (gradient descent) – относится к математической технике, которую алгоритм обратного распространения использует для уменьшения ошибки в процессе обучения сети.

Встречаются в книге и термины, относящиеся к типам или конфигурациям нейронных сетей: рекуррентные (recurrent) и сверточные (convolutional) сети, а также машины Больцмана (Boltzmann machines). Различия обычно сводятся к способам связи нейронов. Детальное рассмотрение этих понятий выходит за рамки книги. Тем не менее я попросил объяснить их Яна Лекуна – изобретателя сверточной архитектуры, которая широко используется в распознавании объектов на изображениях.

Термин байесовский (bayesian) можно перевести как «вероятностный». Он встречается в таких сочетаниях, как «байесовские методы машинного обучения» или «байесовские сети». Они относятся к алгоритмам, которые используют вероятностные зависимости. Термин назван в честь священника Томаса Байеса (1701–1761), который сформулировал способ обновления вероятности события после возникновения другого, статистически взаимозависимого с ним. Байесовские методы очень популярны как среди специалистов по теории вычислительных машин и систем, так и среди ученых, моделирующих человеческое познание. Больше всего по этой теме рассказал Джуда Перл.

Способы обучения ИИ-систем

Существуют разные типы машинного обучения. Решающую роль в развитии искусственного интеллекта играют инновации, то есть новые способы обучения систем ИИ.

При обучении с учителем (supervised learning) алгоритму передаются структурированные, классифицированные и снабженные метками данные. Например, чтобы научить систему глубокого обучения распознавать на снимках собак, ей нужно предоставить много тысяч (или даже миллионов) изображений этого животного с меткой «собака». Кроме того, потребуется огромное количество изображений без собаки с меткой «нет собаки». После обучения можно показывать системе новые фотографии, и она будет определять наличие на них собаки на уровне, превосходящем возможности обычного человека.

Обучение с учителем – наиболее распространенный метод, применяемый в современных системах ИИ. На его долю приходится около 95 % практических приложений. Именно оно послужило основой машинного перевода (после обучения на миллионах предварительно переведенных документов) и ИИ-систем диагностики (после обучения на снимках с пометками «рак» и «нет рака»). К сожалению, для такого обучения требуются огромные объемы маркированных данных. Именно поэтому лидирующее положение в технологии глубокого обучения занимают такие компании, как Google, Amazon и Facebook.

Обучение с подкреплением (reinforcement learning), по сути, представляет собой обучение на практике или методом проб и ошибок. Система учится не на правильных размеченных данных, а самостоятельно ищет решение, получая подкрепление в случае успеха. Это напоминает дрессировку животных, которым в случае правильных действий дается кусочек вкусной еды. Именно обучение с подкреплением применялось для построения систем ИИ, играющих в игры. Из интервью с Демисом Хассабисом вы узнаете, что компания DeepMind использовала этот тип обучения для разработки компьютерной системы AlphaGo.

Проблема обучения по этому алгоритму заключается в необходимости огромного количества тренировочных попыток. Поэтому он применяется в основном для игр или для задач, которые можно воспроизводить на компьютере с высокой скоростью. Обучение с подкреплением можно использовать при разработке беспилотных автомобилей, но не для их эксплуатации на реальных дорогах. Виртуальные машины обучаются в искусственной среде, а после завершения обучения программное обеспечение устанавливается на реальные автомобили.

Обучение без учителя (unsupervised learning) обеспечивает непосредственное обучение на поступающих из окружающей среды неструктурированных данных. Именно так учатся люди. Например, дети учатся говорить, слушая речь родителей. Разумеется, человек использует и другие типы обучения, но самым характерным для него остается наблюдение и неконтролируемое взаимодействие с окружающей средой.

Обучение без учителя – один из наиболее многообещающих путей развития ИИ. Только представьте системы, умеющие обучаться сами без подготовки данных. Но их разработка – одна из самых сложных задач. Ее решение станет важной точкой на пути к созданию сильного ИИ.

Термин сильный ИИ обозначает истинно мыслящую машину, изначальную цель создания ИИ. Еще его называют интеллектом, сравнимым с человеческим разумом. Примеры сильного ИИ можно наблюдать в научной фантастике: компьютер HAL 9000 из «Космической одиссеи», главный компьютер космического корабля «Энтерпрайз» (или Дэйта) из «Звездного пути», андроид C3PO из «Звездных войн» и агент Смит из «Матрицы». Все эти вымышленные системы могли пройти тест Тьюринга (Turing test), то есть вести беседу как человек. Этот тест был предложен Аланом Тьюрингом в статье 1950 г. «Вычислительные машины и разум»^[7], которую можно считать основополагающей работой в области ИИ.

Есть вероятность, что когда-нибудь появится cуперинтеллект (superintelligence), или машина, превосходящая интеллектуальные способности любого человека. Это может произойти в результате простого увеличения аппаратных мощностей и быть ускорено самосовершенствованием этой машины. Так она запустит «рекурсивный цикл улучшения» или «быстрый интеллектуальный взлет», создавая проблему «выравнивания», если вступит в противоречие с интересам человека.

Иошуа Бенджио

“ИИ, который существует сейчас и может появиться в обозримом будущем, не понимает и не чувствует нормы морали".

Директор Монреальского института алгоритмов обучения (MILA), доктор computer science, профессор кафедры информатики и математических методов Монреальского университета, соруководитель проекта Learning in Machines & Brains Канадского института перспективных исследований (CIFAR)

Иошуа Бенджио широко известен как один из пионеров глубокого обучения. Он активно продвигал исследования нейронных сетей, в частности обучение без учителя, и стал соавтором книги «Глубокое обучение»^[8] – одним из основных учебников по одноименному предмету.

Мартин Форд: Вы играете ведущую роль в исследованиях ИИ, поэтому начать мне хотелось бы с вопроса о том, какие исследовательские проблемы стоят на пути к сильному ИИ.

Иошуа Бенджио: До создания ИИ, сравнимого с человеческим, нам еще очень далеко. Нужно понять, к примеру, почему невозможно создать машину, которая понимала бы окружающую действительность так же, как человек. Чего нам не хватает: обучающих данных или вычислительных мощностей? Многие считают, что причина состоит в отсутствии необходимых базовых компонентов, например, умения видеть причинно-следственные связи в данных, которое позволяет делать обобщения и находить правильные ответы в условиях, отличных от тренировочных.

Человек может представить, как он переживет новый для себя опыт. Например, если вы никогда не попадали в автомобильную аварию, вы все равно сможете прокрутить у себя в голове такую ситуацию и принять правильное решение. Обучение с учителем помогает компьютеру находить статистические закономерности в поставляемых данных, которые заранее классифицированы и размечены людьми.

Многие исследования пока не дали значимых результатов. Компьютер не может автономно приобретать знания о мире, воздействовать на него и наблюдать результат воздействия. Ответы на вопрос, как это реализовать, ищем не только мы.

М. Ф.: Какие проекты в настоящее время можно считать первостепенными в области глубокого обучения? Мне первым делом вспоминается программа AlphaZero. Есть ли другие?

И. Б.: На мой взгляд, из множества интересных проектов наиболее перспективны те, в которых агент в виртуальном мире пытается решать задачи, попутно изучая все с ними связанное. Такими проектами занимаемся мы в MILA, а также компании DeepMind, OpenAI, Университет Беркли, Facebook и Google в рамках проекта Google Brain. Это новые горизонты.

Но это долговременные исследования. Мы работаем не над конкретными вариантами применения глубокого обучения, а над тем, как научить агента осмысливать окружающую среду, говорить и понимать так называемый обоснованный язык (grounded language).

М. Ф.: Что означает этот термин?

И. Б.: Раньше компьютеры обучались языку, знакомясь с множеством текстов. Причем они достигали понимания только через связь слова с называемой им реалией. В отличие от робота, человек может сопоставить слово не только с объектом из реального мира, но и с вариантами изображения этого объекта.

Многочисленные исследования в области обучения обоснованному языку сводятся к попыткам научить роботов понимать язык хотя бы на уровне отдельных слов и выражений и реагировать соответствующим образом. Это очень интересное направление, необходимое для реализации таких вещей, как диалог с роботами, личные помощники и т. п.

М. Ф.: То есть, по сути, идея состоит в том, чтобы дать агенту свободу в смоделированной среде, позволив ему учиться, как это делают дети?

И. Б.: Именно так. Более того, мы пользуемся результатами исследований в области детского развития и изучаем, какие этапы проходит новорожденный в первые месяцы жизни, постепенно приобретая представления о мире. До сих пор не совсем понятно, какие умения являются врожденными, а какие получены путем изучения.

Несколько лет назад я предложил для машинного обучения практику, которая используется при дрессировке животных – обучение по плану (curriculum learning). Обучающие примеры в этом случае демонстрируются не произвольно, а в последовательности, целесообразной для обучения. Процесс начинается с простых концепций, которые после их освоения учеником можно использовать как «кирпичики» для объяснения более сложных понятий.

М. Ф.: Я бы хотел поговорить о работе над сильным ИИ. Очевидно, что важной составляющей этого процесса вы считаете обучение без учителя. Что еще необходимо сделать?

И. Б.: Мой друг Ян Лекун сравнивает этот процесс с подъемом на гору. Сначала все радуются, насколько высоко забрались, но по мере приближения к вершине встречается множество других гор. Сейчас при разработке сильного ИИ четко видна ограниченность используемых подходов. Пока мы искали способы обучения более глубоких сетей, взбираясь на первую гору, создаваемые системы исследовались очень узко – на том этапе было важно просто подняться на несколько шагов вверх.

Как только применяемые техники обучения дали первые удовлетворительные результаты – мы приблизились к вершине первой горы, – стали заметны ограничения. И это следующая гора, которую нужно будет покорять. Поэтому невозможно сказать, сколько еще открытий потребуется.

М. Ф.: А вы можете хотя бы примерно оценить количество гор? Или период времени, который потребуется на создание сильного ИИ? Просто поделитесь своими прогнозами.

И. Б.: Не вижу смысла говорить о сроках. Невозможно предсказать, когда именно будет открыта дверь, от которой у нас нет ключа. Могу только заверить, что в ближайшие годы никаких прорывов не будет.

М. Ф.: Считаете ли вы перспективными глубокое обучение и нейронные сети в целом?

И. Б.: Да, многолетний прогресс в области глубокого обучения и нейронных сетей означает, что открытые концепции будут активно использоваться и дальше. Возможно, именно они помогут понять, каким образом мозг животных и человека осваивает сложные понятия. Но этого недостаточно для создания сильного ИИ. В настоящее время мы видим ограниченность имеющихся систем и собираемся улучшать и развивать их.

М. Ф.: Я знаю, что Институт искусственного интеллекта Пола Аллена (AI2) работает над проектом Mosaic, в рамках которого компьютеру пытаются помочь обрести разум. Считаете ли вы, что это важная задача? Ведь, возможно, разум рождается в процессе обучения?

И. Б.: Я уверен, что он возникает именно как результат обучения. Разум не может появиться только потому, что кто-то положил вам в голову какие-то знания. По крайней мере, у людей так.

М. Ф.: Глубокое обучение – основной путь к созданию сильного ИИ или потребуются гибридные системы?

И. Б.: Изначально ИИ был условным понятием, ни о каком обучении речи не шло. В центре внимания была способность машины делать последовательные выводы и объединять фрагменты информации. А глубокое обучение нейронных сетей можно назвать познанием снизу вверх. Все начинается с восприятия, в котором мы закрепляем понимание мира машиной. Затем можно строить распределенные представления и фиксировать связи между множеством переменных.

Отношения между такими переменными мы с братом изучали в 1999 г., что дало толчок к появлению в области естественного языка таких подходов, как векторное представление слов или распределенные представления слов и предложений. В них слово описывается характером активности в мозге или набором чисел. Слова со сходными значениями связываются со сходными числовыми комбинациями.

В настоящее время на базе этих подходов пытаются решать классические проблемы ИИ, связанные с умением рассуждать и понимать, программировать и планировать. «Строительные блоки», обнаруженные при изучении восприятия, сейчас пробуют распространять на когнитивные задачи более высокого уровня (психологи называют это действиями Системы 2). Я полагаю, именно таким способом мы будем двигаться к сильному ИИ. Это нельзя назвать гибридной системой; скорее, мы пытаемся работать над классическим ИИ, используя как строительный материал концепции из глубокого обучения. Можно сказать, что требуются альтернативные пути достижения цели.

М. Ф.: То есть вы считаете, что все сведется к нейронным сетям с различными архитектурами?

И. Б.: Да. Ведь человеческий мозг состоит из нейронных сетей. Нужно придумать архитектуры и обучающие техники, позволяющие решать задачи, поставленные перед классическим ИИ.

М. Ф.: Обучения и тренировки будет достаточно или потребуется какая-то дополнительная структура?

И. Б.: Она уже существует, просто отличается от привычной структуры представления знаний, которую мы наблюдаем в энциклопедиях или формулах. Она имеет архитектуру нейронной сети и довольно широкие допущения по поводу окружающего мира и вершины собственных возможностей. Чтобы реализовывать в нейронной сети механизм внимания, такая структура требует большого количества предварительных знаний. Оказывается, данные имеют решающее значение для таких вещей, как машинный перевод.

Уже существует множество предположений в разных предметных областях о мире и о внедряемой функции, которые в виде архитектур и целей содержались в технологии глубокого обучения. Именно этому посвящено большинство современных научных работ.

М. Ф.: Говорят, что новорожденные развивают навык распознавания лиц с первых дней жизни. Очевидно, что это возможно благодаря некой структуре в мозге. Это не просто реакция нейронов на пикселы.

И. Б.: Ошибаетесь! Это именно реакция нейронов на пикселы, кроме того, в мозге ребенка присутствует особая структура, которая распознает нечто круглое с двумя точками внутри.

М. Ф.: Я считаю, что она существует с момента рождения.

И. Б.: Разумеется. И все то, что мы проектируем в нейронных сетях, тоже существует с самого начала. Работа исследователя в области глубокого обучения напоминает процесс эволюции. Знания вводятся как в виде структуры, так и через обучение.

При желании можно создать нечто, позволяющее сети распознавать лица, но в этом нет смысла, так как ИИ быстро обучается. Поэтому мы работаем над решением более сложных проблем.

Никто не говорит об отсутствии врожденных знаний у людей, детей и животных. Более того, у большинства животных знания исключительно врожденные. Муравью не приходится долго учиться, он действует в соответствии с заложенной в него программой. Но чем выше существо в иерархии интеллекта, тем большую роль в его жизнедеятельности начинает играть обучение. Человека отличает именно соотношение врожденных и приобретенных навыков.

М. Ф.: Я бы хотел уточнить некоторые из этих концепций. В 1980-е гг., после периода забвения, снова появился интерес к нейронным сетям, но речи о множестве слоев и глубине еще не шло. Вы участвовали в развитии глубокого обучения. Не могли бы вы простыми словами объяснить, что это такое?

И. Б.: Глубокое обучение – это совокупность методов машинного обучения. Но если в случае классического машинного обучения компьютеры учатся по прецедентам, глубокое обучение больше напоминает процесс, происходящий в мозге человека.

Эти методы работы над ИИ появились как продолжение более раннего изучения нейронных сетей. Слово «глубокие» указывает на появление у сетей дополнительных уровней, со своими вариантами представления информации. Мы надеемся, что углубление сетей позволит машине представлять более абстрактные вещи.

М. Ф.: То есть под слоями вы подразумеваете уровни абстракции? И если в качестве примера взять изображение, то первым уровнем будут пикселы, затем контуры и т. д.?

И. Б.: Да, все правильно.

М. Ф.: Правда ли то, что компьютеры до сих пор не понимают, что такое объект?

И. Б.: До некоторой степени компьютер понимает. Скажем, кошка понимает, что такое дверь, но не так, как человек. Даже люди обладают разными уровнями понимания многих вещей, а наука призвана углубить это понимание. Люди интерпретируют образы в контексте трехмерного мира благодаря стереоскопическому зрению и опыту познания. Человек получает не визуальную, а физическую модель объекта. Компьютер интерпретирует изображения на примитивном уровне, но для множества приложений этого достаточно.

М. Ф.: Правда ли, что глубокое обучение стало возможным благодаря методу обратного распространения ошибки, основная идея которого состоит в том, что информацию об ошибке можно отправить от выходов сети к ее входам, корректируя каждый слой в зависимости от конечного результата?

И. Б.: Да, метод обратного распространения стал краеугольным камнем успехов глубокого обучения. Он позволяет присваивать данным коэффициенты доверия (credit assignment), то есть рассчитывать, как для корректного поведения всей сети должны измениться внутренние нейроны. В контексте нейронных сетей об этом методе заговорили в начале 1980-х гг., когда я только начинал работать самостоятельно. Одновременно с Яном Лекуном метод развивали Джеффри Хинтон и Дэвид Румельхарт (David Rumelhart). Идея не новая, но примерно до 2006 г. особых успехов в обучении глубоких сетей не наблюдалось. Сейчас мы имеем механизм внимания, память и способность не только классифицировать, но и генерировать изображения.

М. Ф.: Существуют ли аналоги обратного распространения в человеческом мозге?

И. Б.: Хороший вопрос. Дело в том, что нейронные сети не пытаются скопировать мозг, хотя и появились как попытка смоделировать некоторые происходящие в нем процессы. Мы полностью не понимаем, как работает мозг. Нейробиологи пока не соединили результаты своих наблюдений в общую картину. Возможно, наша работа сможет дать доступную для проверки гипотезу. Ведь метод обратного распространения до сих пор считался уделом компьютеров, но не человеческого мозга. Прекрасные результаты, которые он дает, заставляют подозревать, что, возможно, мозг умеет проделывать похожие штуки. Я участвую в исследованиях, которые могут дать ответ на этот вопрос.

М. Ф.: В период «зимы ИИ», когда общий интерес к нему угас, вы вместе с Джеффри Хинтоном и Яном Лекуном продолжали свои исследования. Как вам удалось добиться таких успехов, как сейчас?

И. Б.: К концу 1990-х гг. нейронные сети вышли из моды, и ими практически никто не занимался. Но моя интуиция говорила, что мы упускаем что-то важное. Ведь благодаря композиционной структуре они могли представить богатую информацию о данных, базируясь на множестве «строительных блоков» – нейронов и их слоев. Лично меня это привело к лингвистическим моделям, то есть к нейронным сетям, которые моделировали текст, используя векторные представления слов. Каждое слово в них связано с набором чисел, соответствующих различным атрибутам, которые изучаются машиной автономно. Тогда этот подход не получил широкого распространения, но в настоящее время эти идеи используются почти во всем, что связано с моделированием языка на основе данных.

Обучать глубокие сети мы не умели, но проблему решил Джеффри Хинтон своей работой по быстрым алгоритмам обучения ограниченной машины Больцмана (restricted Boltzmann machine, RBM). В моей лаборатории велась работа над связанными с ней автокодировщиками, которые дали начало таким моделям, как генеративно-состязательные сети (generative adversarial networks). Благодаря им появилась возможность обучения более глубоких сетей.

М. Ф.: А что такое автокодировщик?

И. Б.: Это специальная архитектура, состоящая из двух частей: кодировщика и декодера. То, что кодировщик сжал – декодер восстанавливал, причем так, чтобы выход был максимально близок к оригиналу. Автокодировщики превращали входную необработанную информацию в более абстрактное представление, в котором проще было выделить семантический аспект. Затем декодер восстанавливал по этой высокоуровневой абстракции исходные данные. Это были первые работы по глубокому обучению.

Через несколько лет мы обнаружили, что для обучения глубоких сетей достаточно изменения нелинейности. Вместе с одним из моих студентов, который работал с нейробиологами, мы решили попробовать блоки линейной ректификации (rectified linear unit, ReLU). Это пример копирования работы человеческого мозга.

М. Ф.: И к каким результатам это привело?

И. Б.: Раньше для активации нейронных сетей использовали сигмоиду, но оказалось, что с функцией ReLU гораздо проще обучать глубокие сети с большим количеством уровней. Переход случился примерно в 2010 г. Появилась огромная база данных ImageNet, предназначенная для отработки и тестирования методов распознавания объектов на изображениях и машинного зрения. Чтобы заставить людей поверить в методы глубокого обучения, нужно было показать хорошие результаты на примере этой базы. Это смогла сделать группа Джеффри Хинтона, которая использовала в качестве основы работы Яна Лекуна, посвященные сверточным сетям. В 2012 г. эти новые архитектуры позволили значительно улучшить существующие методы. За пару лет на эти сети переключились все, кто занимался компьютерным зрением.

М. Ф.: То есть именно в этот момент началось настоящее глубокое обучение?

И. Б.: Нет, совокупность факторов, ускоривших глубокое обучение, целиком сложилась только к 2014 г.

М. Ф.: То есть к моменту, когда этим занялись не только университеты, но и такие компании, как Google, Facebook и Baidu?

И. Б.: Именно так. Процесс ускорения начался чуть раньше, примерно в 2010 г., благодаря таким компаниям, как Google, IBM и Microsoft, которые работали над нейронными сетями для распознавания речи. Эти нейронные сети к 2012 г. Google начала использовать на смартфонах Android. Тот факт, что одну и ту же технологию глубокого обучения смогли применить как для компьютерного зрения, так и для распознавания речи, оказался по-настоящему революционным. Это привлекло внимание к сфере ИИ.

М. Ф.: Удивляет ли вас тот факт, что нейронные сети, с которыми вы много лет назад начали работать, стали центральным элементом проектов в таких крупных компаниях, как Google и Facebook?

И. Б.: Конечно, изначально этого никто не ожидал. В области глубокого обучения был сделан ряд важных, удивительных открытий. Я уже упоминал, что распознавание речи появилось в 2010 г., а о компьютерном зрении стали говорить в 2012 г. Пару лет спустя начался прорыв в сфере машинного перевода, который в 2016 г. привел к появлению сервиса Google Translate. В этом же году началось активное развитие программы AlphaGo. Всего этого мы не ожидали. Помню, как в 2014 г. я просматривал результаты генерации подписей к изображениям и поражался тому, что компьютер смог это сделать. Если бы годом раньше меня спросили, реально ли подобное, я бы ответил «нет».

М. Ф.: Это действительно нечто потрясающее. Конечно, осечки иногда происходят, но в большинстве случаев мы имеем поразительно точный результат.

И. Б.: Осечки неизбежны! Системы пока не обучены на достаточном количестве данных, кроме того, требуется изрядно продвинуться в фундаментальных исследованиях, чтобы они действительно научились распознавать объекты на изображениях и понимать язык. Пока до этого далеко, но ведь даже современного уровня производительности мы изначально не ожидали.

М. Ф.: А как вы пришли к исследованиям в области ИИ?

И. Б.: В юности я активно читал научную фантастику. Подозреваю, что это могло на меня повлиять. Именно оттуда я узнал об ИИ и трех законах робототехники Азимова, и у меня появилось желание изучать физику и математику. А чуть позже мы с братом заинтересовались компьютерами. На сэкономленные деньги мы приобрели компьютер Apple IIe, а затем Atari 800. Программного обеспечения тогда было мало, поэтому мы научились писать программы на языке BASIC.

Я так увлекся программированием, что занялся изучением вычислительной техники, а затем получил ученую степень в области computer science. В 1985 г., во время обучения в магистратуре, я начал читать статьи о первых нейронных сетях, в том числе работы Джеффри Хинтона. Это было любовью с первого взгляда. Я сразу понял, что хочу работать именно в этой сфере.

М. Ф.: Какой совет вы могли бы дать тем, что хочет заниматься глубоким обучением?

И. Б.: Прыгайте в воду и начинайте плавать. Сейчас информация любого уровня доступна в виде учебников, видео и библиотек с открытым исходным кодом. В сети можно бесплатно прочитать книгу «Глубокое обучение», соавтором которой я являюсь. В ней много информации для новичков. Студенты старших курсов зачастую тренируются, читая научные работы и пытаясь самостоятельно воспроизвести описанные там результаты, затем стараются попасть в лаборатории, проводящие исследования такого рода. Сейчас самое благоприятное время для карьеры в сфере ИИ.

М. Ф.: Из ключевых фигур в сфере глубокого обучения вы единственный, кто занимается только наукой. Большинство по совместительству сотрудничает с различными компаниями. Почему вы выбрали этот путь?

И. Б.: Я всегда высоко ценил научное сообщество, свободу работать на общее благо, делая вещи, которые, как я считаю, могут сильно повлиять на происходящее. Мне нравится работать со студентами, как психологически, так и с точки зрения продуктивности исследований. Уйти работать в индустрию – значит лишиться многого из этих вещей.

Кроме того, я хочу остаться в Монреале, а переход в индустрию означает переезд в Калифорнию или Нью-Йорк. Однажды я подумал, что можно попробовать создать новую Кремниевую долину для ИИ. В результате появился MILA, где проводятся фундаментальные исследования, задающие темп работы над ИИ во всем Монреале. Мы сотрудничаем с научно-исследовательским центром Vector Institute в Торонто и компанией Amii в Эдмонтоне в рамках канадской стратегии по продвижению ИИ в науке и экономике с пользой для социума.

М. Ф.: Раз уж вы упомянули об экономике, хотелось бы поговорить о рисках в этой сфере. Я много писал о том, что ИИ может привести к новой промышленной революции и потере множества рабочих мест. Как вы относитесь к этой гипотезе? Не преувеличена ли в данном случае угроза?

И. Б.: Нет, она не преувеличена. Непонятно только, когда это произойдет – в ближайшее десятилетие или намного позже. И даже если завтра мы полностью прекратим фундаментальные исследования в области ИИ, те результаты, которых мы уже достигли, позволят кому-то получить социальное и экономическое преимущество за счет простого создания новых товаров и услуг.

Уже собрано огромное количество данных, которые мы пока не используем. Например, в здравоохранении применяется лишь малая доля доступной информации. А ее становится все больше, потому что каждый день оцифровываются новые данные. Производители аппаратных средств совершенствуют процессоры для глубокого обучения, что без сомнения изменит наш мир.

Конечно, прогресс в этой сфере замедляют социальные факторы. Общество не может моментально измениться, даже если технология идет вперед семимильными шагами.

М. Ф.: Реально ли решить проблему безработицы введением безусловного базового дохода?

И. Б.: Я думаю, это может сработать, но сначала нужно избавиться от морального ограничения, согласно которому у неработающего человека дохода быть не должно. Мне такая точка зрения кажется ненормальной. Думаю, нужно ориентироваться на то, что лучше для экономики и для счастья людей. Имеет смысл провести эксперимент, чтобы попытаться найти ответ на эти вопросы.

А единого ответа не будет. Позаботиться о людях, которые в результате новой промышленной революции останутся не у дел, можно разными способами. Мой друг Ян Лекун сказал, что если бы в XIX в. можно было предвидеть последствия промышленной революции, возможно, люди смогли бы избежать множества страданий. Если бы еще тогда, а не в 1950-х мы создали систему социальной защиты, которая сейчас существует в большинстве западных стран, сотни миллионов людей жили бы намного лучше. А ведь для новой революции, скорее всего, потребуется гораздо меньше столетия, и потенциальные негативные последствия могут быть еще сильнее.

Мне кажется, думать об этом нужно уже сейчас. Искать варианты, позволяющие минимизировать нищету и оптимизировать глобальное благополучие. Думаю, выход есть, но мы вряд ли его найдем, если будем держаться за старые ошибки и религиозные убеждения.

М. Ф.: Если все произойдет скоро, это станет еще и политической проблемой.

И. Б.: Поэтому нужно быстро реагировать!

М. Ф.: Совершенно справедливо. А чем еще, кроме влияния на экономику, может грозить ИИ?

И. Б.: Лично я активно выступал против роботов-убийц.

М. Ф.: Я слышал, что вы подписали письмо корейскому университету, который, по слухам, собирался заниматься их разработкой.

И. Б.: Да, и это помогло. Корейский институт передовых технологий (KAIST) сообщил, что они не будут разрабатывать автономные военные системы.

Отдельно я хотел бы коснуться такого важного вопроса, как включение людей в цикл управления. ИИ, который существует сейчас и может появиться в обозримом будущем, не понимает и не чувствует нормы морали. Разумеется, критерии добра и зла в разных культурах могут отличаться, тем не менее для людей они крайне важны.

Это касается не только роботов-убийц, но и роботов вообще. Представьте себе работу судьи. Для решения таких сложных моральных вопросов нужно понимать человеческую психологию и иметь моральные ценности. Нельзя передавать право принятия судьбоносных решений бездушной машине. Нужны социальные нормы или законы, гарантирующие, что в обозримом будущем компьютеры не получат таких полномочий.

М. Ф.: Здесь я мог бы с вами поспорить. Ваш взгляд на людей и их суждения крайне идеалистический.

И. Б.: Возможно. Но лично я предпочту, чтобы меня судил несовершенный человек, а не машина, не понимающая, что она творит.

М. Ф.: Но представьте себе автономного робота-охранника, который начинает стрелять только в ответ, когда в него попадает пуля. Человеку это недоступно, и потенциально именно такое поведение может спасти другие жизни. Теоретически, если запрограммировать такого робота правильно, он будет избавлен от расовых предрассудков. И в результате он получит преимущество перед человеком. Вы согласны?

И. Б.: Допускаю, что когда-нибудь такое станет возможным. Но вопрос в понимании машиной контекста задачи. Об этом компьютеры не имеют ни малейшего представления.

М. Ф.: Какие еще угрозы может нести ИИ?

И. Б.: Пока это практически не обсуждается, но после происшествий в Facebook и в Cambridge Analytica проблема может выйти на первый план. Она касается рекламы. Применение ИИ с целью воздействия на людей несет опасность для демократии и морально недопустимо. Общество должно позаботиться о предотвращении подобных явлений.

Например, в Канаде запрещена реклама, направленная на детей. Считается, что манипулировать уязвимыми умами аморально. Разумеется, уязвимы не только дети, иначе реклама бы просто не работала.

Во-вторых, реклама негативно влияет на состояние рынка, потому что за счет нее крупные компании мешают своим малоизвестным конкурентам. Современные технологии на базе ИИ позволяют еще точнее доносить посыл до целевой аудитории. Страшно то, что так людей можно заставить ухудшать собственную жизнь. Я имею в виду, например, политическую рекламу. С инструментами, которые позволяют влиять на людей, следует быть очень осторожными.

М. Ф.: Как вы можете прокомментировать предупреждения Илона Маска и Стивена Хокинга о смертельной угрозе, которую несет суперинтеллект, и о рекурсивном улучшении? Стоит ли об этом беспокоиться в данный момент?

И. Б.: Лично меня эти вопросы не волнуют. Исходя из текущего состояния дел, эти сценарии попросту нереалистичны. Они не совместимы с тем путем, по которому сейчас создается ИИ. Через несколько десятилетий все может измениться, но в настоящий момент – это научная фантастика. По крайней мере, с моей точки зрения. Более того, эти страхи отвлекают от насущных проблем, над которыми мы могли бы работать.

Кроме роботов-убийц и политической рекламы, существует, к примеру, проблема системной предвзятости в данных, ведущая к усилению дискриминации. Правительство и бизнес могут повлиять на это. Поэтому вместо обсуждения рисков, которые могут появиться в долгосрочной перспективе, нужно уделять внимание актуальным угрозам.

М. Ф.: А что вы думаете о работе в этой сфере, которую проводит Китай и другие страны? Например, вы упоминали об ограничениях на автономное оружие, но проблема в том, что некоторые страны могут игнорировать соглашение. Есть ли в данном случае повод для беспокойства?

И. Б.: Как ученый я не считаю это проблемой. Чем больше исследователей во всем мире работает над какой-то темой, тем лучше. Если Китай много инвестирует в исследования в сфере ИИ, это прекрасно; в конце концов, пользоваться результатами мы будем вместе. Хотя меня и пугают мысли о том, что китайское правительство может использовать технологию в военных целях. Системы, умеющие распознавать лица и следить за людьми, позволяют за считаные годы построить общество «Большого Брата». Технически это вполне осуществимо и представляет большую опасность для демократии. Это то, о чем мы должны беспокоиться. Подобное возможно при автократии.

Что же касается гонки вооружений, не нужно смешивать роботов-убийц и применение ИИ в военных целях. Я не считаю, что следует полностью запретить ИИ в армии. Если ИИ будет использован для создания оружия, уничтожающего роботов-убийц, это хорошо. Аморально создание таких роботов, а не применение ИИ военными. Ведь работать можно и над оборонительным оружием.

М. Ф.: То есть вы считаете, что нужен свод правил работы над автономным оружием?

И. Б.: Свод правил требуется везде. По крайней мере, в областях, где применение ИИ будет влиять на общество. Нужно разработать правильные социальные механизмы, которые смогут гарантировать, что ИИ не будет использован во вред.

М. Ф.: И вы думаете, правительство в состоянии заняться этим вопросом?

И. Б.: Доверять решение этого вопроса компаниям точно не следует, потому что их в основном заботит увеличение прибыли. Конечно, они будут пытаться сохранить популярность у пользователей и клиентов, но их действия не совсем прозрачны.

Я думаю, что основную роль тут должно сыграть правительство, точнее даже международное сообщество.

М. Ф.: Считаете ли вы, что выгоды от ИИ в целом перевешивают связанные с ним риски?

И. Б.: Выгоды смогут перевесить риски, если мы будем действовать мудро. Именно поэтому так важно принимать правильные решения. И не хочется, закрыв глаза, мчаться вперед; нужно видеть все подстерегающие нас опасности.

М. Ф.: Где, по вашему мнению, все это должно обсуждаться? В аналитических центрах и университетах? Или требуется политическая дискуссия как на национальном, так и на международном уровне?

И. Б.: Нужна именно политическая дискуссия. В частности, на встрече Большой семерки, куда меня пригласили, был поставлен вопрос: «Какой путь развития ИИ может оказать положительное влияние на экономику и позволит сохранить доверие людей?» Потому что общество обеспокоено. И устранить это беспокойство поможет только открытая дискуссия, в которой смогут участвовать все желающие. Потому что ИИ и связанные с ним проблемы должны быть понятны любому человеку.

Стюарт Рассел

“Как только сильный ИИ «выйдет из детского сада», он превзойдет людей во всех возможных областях и будет обладать куда большей базой знаний, чем любой человек".

Профессор электротехники и computer science. директор Center for Intelligent Systems при Калифорнийском университете в Беркли

Стюарт Рассел известен как один из ведущих разработчиков ИИ. Является соавтором учебника по ИИ «Искусственный интеллект. Современный подход»^[9], который в настоящее время используется более чем в 1300 колледжах и университетах в 118 странах. Получил степень бакалавра физики в Уодхэм-колледже Оксфордского университета и докторскую степень в области computer science в Стэнфорде. Занимался исследованиями на различные темы, связанные с ИИ, такие как машинное обучение, представление знаний и компьютерное зрение. Имеет многочисленные награды, в том числе Международной объединенной конференции по ИИ (IJCAI). Является членом Американской ассоциации содействия развитию науки, Ассоциации по продвижению ИИ (AAAI) и Ассоциации вычислительной техники (ACM).

Мартин Форд: Вы написали учебник по ИИ, поэтому мне было бы интересно услышать, как вы определяете некоторые ключевые термины. Что входит в понятие ИИ? Какие проблемы информатики относятся к нему? Как ИИ связан с машинным обучением?

Стюарт Рассел: Я дам вам, скажем так, стандартное определение, которое приведено в нашей книге и в настоящее время общепризнано: «сущность разумна настолько, насколько правильно она поступает». Это означает, что ее действия должны приводить к поставленным целям. Определение относится как к людям, так и к машинам. Если разложить идею правильного поведения на составляющие и исследовать, окажется, что система ИИ должна уметь постигать, видеть, распознавать речь и действовать.

Еще требуется умение видеть суть вещей. Невозможно успешно функционировать в мире, о котором вам ничего не известно. Понять, каким образом мы осознаем различные вещи, помогает такое научное направление, как представление знаний. В его рамках изучаются способы внутреннего хранения данных, с последующей их обработкой алгоритмами формирования рассуждений, такими как алгоритмы автоматического логического вывода и вероятностного вывода.

Машинное обучение всегда было частью науки об ИИ. По сути, это развитие корректного поведения на базе предшествующего опыта.

М. Ф.: Еще дайте, пожалуйста, определения нейронным сетям и глубокому обучению.

С. Р.: Одна из стандартных методик машинного обучения – это обучение с учителем. Системе ИИ дается набор примеров какого-то понятия, снабженных описаниями и метками. Представьте фотографию с подписью, которая указывает, что это изображение лодки, далматинца или чашки с вишнями. Цель обучения состоит в поиске параметра или гипотезы, которые позволят классифицировать изображения в целом. Так мы пытаемся научить ИИ предсказывать, как могут выглядеть другие изображения тех же объектов.

Гипотезу или параметр можно представить в виде нейронной сети – схемы, состоящей из набора слоев. Входом в нее могут быть значения пикселов на фотографиях далматинцев. В процессе их распространения по схеме на каждом уровне вычисляются новые значения. На выходе из нейронной сети мы получаем распознавание объекта. И мы надеемся, что если подать на вход изображение далматинца, то после прохождения значений всех пикселов через все слои нейронной сети индикатор далматинца будет иметь высокое значение, а индикатор чашки с вишнями низкое. В этом случае можно сказать, что нейронная сеть правильно распознала объект.

М. Ф.: А как заставить нейронную сеть распознавать объекты на изображениях?

С. Р.: Для этого и нужен процесс обучения. Его алгоритмы настраивают весовые коэффициенты всех связей таким образом, чтобы на примерах сеть запоминала правильные ответы. При определенном везении сеть начинает распознавать объекты и на новых, не входящих в обучающий набор изображениях.

Глубокое обучение – это обучение многослойных нейронных сетей. Формально минимального требования к глубине сети не существует, но двух- или трехуровневые сети, как правило, не считаются глубокими. Некоторые сети могут насчитывать более тысячи слоев. В них преобразование, происходящее между входом и выходом, можно представить как композицию более простых преобразований, происходящих на отдельных уровнях. Предполагается, что наличие множества уровней облегчает поиск обобщающих параметров благодаря установлению весовых коэффициентов всех связей.

Мы только подходим к теоретическому пониманию того, в каких случаях и почему глубокое обучение дает верные результаты. По большому счету все происходящее до сих пор выглядит для нас как магия. Кажется, что изображения, звуковые сигналы и речь, подаваемые на вход глубокой сети, обладают каким-то свойством, помогающим вычленить из них нужный признак. Но пока не ясно, каким.

М. Ф.: Может сложиться впечатление, что ИИ – это синоним глубокого обучения. Это не так?

С. Р.: Приравнивать глубокое обучение к ИИ – ошибка, потому что умение отличать далматинцев от ваз с вишнями – это малая часть требований к эффективному ИИ. Программы AlphaGo и AlphaZero привлекли внимание СМИ к глубокому обучению, но на самом деле это гибрид классического ИИ, который использует метод поиска, с алгоритмом глубокого обучения, который оценивает каждую игровую позицию. Хотя умение отличать хорошую позицию от плохой в го ключевое, программа не смогла бы сыграть на уровне чемпиона мира только в результате глубокого обучения.

По такому же принципу работает система беспилотного автомобиля. На дороге то и дело возникают ситуации, разрешение которых должно происходить по классическим правилам, но в то же время нужно предугадывать возможную реакцию других участников движения, оценивать последствия.

Восприятие – это важный компонент ИИ, который вполне адекватно удается реализовать через глубокое обучение, но для создания системы ИИ требуется множество других способностей различного типа. Особенно это касается действий, растянутых во времени, таких как поездка в отпуск, или сложных – строительство завода. Такие виды деятельности невозможно организовать, имея только систему типа «черный ящик» с глубоким обучением. Иначе алгоритму глубокого обучения нужно будет продемонстрировать все способы, которые когда-либо применялись для строительства. Научится ли система после этого строить заводы? Нет. Во-первых, таких данных не существует, а если бы они и были – нет смысла строить заводы таким образом.

Для строительства нужны специальные знания. Умение планировать. Знание свойств материалов. Чтобы решать долгосрочные и сложные задачи, можно создать системы ИИ, но глубокое обучение тут не поможет.

М. Ф.: Есть ли достижения в сфере ИИ, которые можно считать прорывом?

С. Р.: Хороший вопрос. Дело в том, что многие достижения, о которых активно говорили в СМИ, это не концептуальный прорыв, а всего лишь демонстрация. Вспомните хотя бы победу суперкомпьютера Deep Blue над Каспаровым. По сути, речь шла о демонстрации алгоритмов, разработанных тридцатью годами ранее и постепенно совершенствовавшихся на более мощном оборудовании. Но прорыв заключался в особенностях шахматной программы. В ней интересны и способ прогнозирования, и альфа-бета-алгоритм, сокращающий объем поиска, и некоторые из методов проектирования функций оценки. В итоге, как это часто бывает, СМИ назвали прорывом то, что им не является.

Также и сегодня. Вспомните отчеты о восприятии и распознавании надиктованной речи, заголовки в газетах о точности понимания текста на уровне человека или еще точнее. Но все эти впечатляющие практические результаты – только демонстрация прорывов, произошедших в 1980–1990-х гг.

Сейчас к более старым достижениям прибавлены современные методы проектирования, огромные наборы данных, многоуровневые сети и новейшее оборудование. Есть интерес к ИИ. Но обсуждаются не прорывы.

М. Ф.: Можно ли считать примером прорывной технологии программу AlphaZero от DeepMind?

С. Р.: Это интересная программа. Но нет ничего удивительного в том, что программное обеспечение для игры го смогли использовать для игры в шахматы и сеги на уровне чемпионов мира.

Тот факт, что программа AlphaZero менее чем за сутки научилась играть на сверхчеловеческом уровне в три разные игры, используя одно и то же программное обеспечение, безусловно, вызывает волнение. Но это всего лишь подтверждает, что если вы четко понимаете класс задачи, особенно детерминированной, если есть два игрока, делающих ходы по очереди, а игра идет по известным правилам и за ней можно наблюдать, то решением может стать хорошо спроектированный класс алгоритмов ИИ, позволяющих обучать функции оценки и использовать классические методы управления поиском.

Но для других классов задач, где часть информации скрыта, нужны другие алгоритмические структуры. И программа AlphaZero не научится играть в покер и водить автомобиль. Она не умеет оценивать скрытые факторы. Фигуры на доске для нее – это только фигуры на доске.

М. Ф.: Но ведь в Университете Карнеги – Меллона разработали систему ИИ для игры в покер. Программу Libratus можно считать прорывом в сфере ИИ?

С. Р.: Эта программа – еще один впечатляющий пример гибридного ИИ. Она представляет собой комбинацию алгоритмов, которые существуют уже 10 или 15 лет. Для игр с неполной информацией требуется смешанная стратегия. Ведь если, к примеру, все время блефовать, соперники это быстро поймут. Но без блефа невозможно воровать блайнды, если у вас слабая комбинация карт. Давно известно, что в таких карточных играх нужно постоянно менять свое поведение и оценивать перспективу будущей ставки. ИИ умеет рассчитывать все эти вероятности крайне точно, но только для игры с короткой колодой. Уже примерно 10 лет идет работа над масштабированием расчетов, и есть результат.

Libratus можно назвать впечатляющим современным приложением с ИИ. Но я не уверен, что его методы допускают неограниченное масштабирование. Ведь даже для перехода от первой версии покера к следующей потребовалось десятилетие. Кроме того, пока непонятно, насколько в реальном мире применимы теории, лежащие в основе игры в покер. Мы не имеем представления о степени рандомизации событий повседневной жизни. Теория игр должна описывать обычную жизнь, но насколько она применима к ИИ, пока неизвестно.

М. Ф.: Когда, по вашим оценкам, автономный транспорт станет общедоступным, и после звонка в Uber приедет пустой автомобиль, который отвезет заказчика в указанное место?

С. Р.: Сроки внедрения беспилотных автомобилей – важный экономический вопрос, ведь в эти проекты инвестируют многие компании.

Но надо упомянуть, что первая беспилотная машина появилась на дорогах общего пользования 30 лет назад! Предложенный Эрнстом Дикманом прототип мог менять ряд, отслеживать положение других транспортных средств на дороге и даже совершать обгоны. Все уперлось в вопросы безопасности. Одно дело успешная демонстрация в течение короткого времени, а совсем другое – система ИИ, которая сможет работать десятилетиями без значительных сбоев. Только во втором случае транспортное средство квалифицируется как безопасное. Пока ничего подобного не существует.

Результаты проводимых сейчас в Калифорнии испытаний показывают, что люди по-прежнему считают необходимым то и дело вмешиваться в управление транспортным средством. Есть более-менее успешные проекты, связанные с беспилотными автомобилями, впечатляющие отчеты показала компания Waymo. Однако пока такие автомобили зависят от погодных условий.

Я считаю, что, если нам повезет, об общедоступности беспилотных автомобилей можно будет говорить где-то через пять лет. Конечно, я не знаю, насколько терпеливо готовы ждать крупные автомобильные компании. Подозреваю, все они стараются не упустить рыночные возможности.

М. Ф.: Я обычно называю срок 10–15 лет. Ваша оценка не слишком оптимистична?

С. Р.: Да. Но я упомянул о большом везении. Так что в реальности, скорее всего, переход случится намного позднее. Очевидно пока только одно: многие ранние варианты относительно простых архитектур для беспилотных автомобилей в настоящее время забыты, потому что появились новые данные.

Ранние версии автомобилей Google использовали собранную датчиками информацию, которая достаточно хорошо позволяла распознавать другие транспортные средства, разметку, препятствия и пешеходов. Эта система зрения эффективно передавала данные в логической форме, после чего контроллер задавал дальнейшие действия автомобиля в соответствии с заложенными в него логическими правилами. Но в программу каждый день добавлялись новые правила на все случаи жизни. С моей точки зрения, в долгосрочной перспективе архитектура такого типа бесполезна, ведь отсутствие какого-то примера может стать вопросом жизни и смерти.

Мы же не играем в шахматы или го, руководствуясь правилами для конкретных комбинаций фигур. Нигде не написано, что если король стоит на этой клетке, а ладья – на вот той, а еще вон там – ферзь, то делайте вот такой ход. Шахматные программы пишутся по другому принципу. Мы берем правила игры в шахматы и смотрим, к каким последствиям приводят те или иные действия. Так же и в беспилотном автомобиле ИИ должен принимать решения с упреждением.

М. Ф.: Расскажите, что это такое – сильный ИИ и что мешает его создать?

С. Р.: Термин введен недавно. По большому счету это просто напоминание о цели создать ИИ, похожий на интеллект человека. Поэтому именно сильный ИИ можно называть настоящим ИИ. Этой целью часто пренебрегали ради решения прикладных задач. Потому что решить конкретную задачу, такую как игра в шахматы, намного проще.

Если мы сможем победить ограничения, появится система ИИ, успешно работающая практически в любых обстоятельствах. Ее можно будет попросить как спроектировать новый скоростной катер, так и накрыть стол к ужину. Она сможет выяснить, что не так с вашей собакой, например, прочитав всю доступную информацию о болезнях собак и их лечении. Считается, что именно такие способности отражают универсальность человеческого интеллекта. То есть, говоря о сильном ИИ, мы подразумеваем универсальный ИИ, который в чем-то может нас превзойти. Как только сильный ИИ «выйдет из детского сада», он превзойдет людей во всех возможных областях и будет обладать куда большей базой знаний, чем любой человек.

Но останутся области, в которых машина развиваться не сможет. Это не означает, что сравнивать людей и машины с сильным ИИ не имеет смысла: в долгосрочной перспективе большую важность приобретут их взаимоотношения. Существуют аспекты интеллекта (например, кратковременная память), по которым обезьяна превосходит человека, но будущее горилл и шимпанзе полностью зависит от людей. Когда мы создадим сильный ИИ, то без сомнения столкнемся с проблемой, как избежать судьбы обезьян, как не уступить контроль над собственным будущим.

М. Ф.: Пугающий вопрос. Если концептуальные прорывы порой совершаются за десятилетия их практического применения, есть ли уже признаки скорого появления сильного ИИ?

С. Р.: По моим ощущениям, часть «строительных блоков» для будущего сильного ИИ уже готова. Уже известны и способы представления знаний, и способы рассуждений. Вычислительная логика давно разработана. О представлении логических выкладок в виде алгоритмов задумывались еще до появления компьютеров. Мы просто пока не знаем, как связать все это с глубоким обучением.

Уже есть такая технология, как вероятностное программирование, объединяющая возможности обучения, логических языков и языков программирования. С математической точки зрения это способ записи вероятностных моделей, в которые можно добавлять данные и получать прогнозы, используя вероятностный вывод.

Моя группа пользуется языком вероятностного моделирования BLOG (название расшифровывается как байесовская логика). Он позволяет записать известную информацию в форме BLOG-модели, к которой можно добавить данные и получить прогноз.

В качестве реального примера можно привести систему мониторинга за соблюдением договора о запрещении ядерных испытаний. В нее записали все, что известно о физике Земли, о распространении и обнаружении сейсмических сигналов, о присутствующих шумах, о расположении станций обнаружения и т. д. Получилась модель, написанная на формальном языке и учитывающая различные неопределенности. Например, мы не знаем, с какой скоростью сигнал будет распространяться в толще Земли. Со станций обнаружения в модель поставляется необработанная сейсмическая информация, а модель отвечает на следующие вопросы: какие сейсмические явления произошли сегодня? Где? Насколько глубоко? Какова их сила? Какие из них могут быть ядерными взрывами? Это активная, довольно хорошо работающая система мониторинга.

Однако невозможно четко смоделировать процесс понимания естественного языка, на котором описывается процесс рассуждений. Если это сделать, то сильный ИИ сможет прочитать учебник по химии, а затем решить экзаменационные задачи, обосновав свое решение, продемонстрировав рассуждения и выводы, ведущие к ответам.

М. Ф.: Или представим систему сильного ИИ, которая читает учебник истории, а затем моделирует современную геополитическую ситуацию, применяя полученные знания в совершенно другой области.

С. Р.: Это хороший пример, который к тому же связан со способностью системы ИИ манипулировать нашим миром в геополитическом или финансовом планах. ИИ уже может подсказывать новые стратегии продвижения товара, помогая компании обойти конкурентов.

Я бы сказал, что реализация способности понимать язык и использовать понятую информацию и есть тот прорыв, которого не хватает для создания сильного ИИ.

Еще не хватает способности к долговременной деятельности. Программа AlphaZero умеет думать на 20, а то и на 30 шагов вперед, но это ничто по сравнению с работой человеческого мозга. Мельчайшие действия человека сопровождаются отправкой сигналов мозга мышцам; даже при наборе одного абзаца текста отправляется несколько десятков миллионов таких сигналов. Соответственно, 20 или 30 шагов дадут сильному ИИ преимущество всего в несколько миллисекунд. AlphaZero бессмысленно использовать для планирования действий робота.

М. Ф.: Как же люди умудряются функционировать, если для этого требуется так много вычислять и решать?

С. Р.: В реальном мире люди и роботы могут действовать только на разных уровнях абстракции. Мы планируем свою жизнь примерно так: «Сегодня днем попытаюсь сделать вот это». А затем абстрактное действие мы разбиваем на более мелкие задачи. Для нас это рутина, но мы не понимаем, как реализовать подобное в системе с ИИ. Поведение человека явно структурировано в виде уровней абстракции. Но откуда взялась иерархия? Как мы создаем и используем такие конструкции? Умея это, машина смогла бы успешно работать в сложных условиях длительное время. И мы приблизились бы к сильному ИИ.

М. Ф.: А когда, по вашим оценкам, это может произойти?

С. Р.: Подобные вещи никак не связаны с размером наборов данных и мощностью аппаратуры, поэтому количественный прогноз попросту невозможен. Но насколько я помню, 11 сентября 1933 г. Эрнст Резерфорд сказал, что, по его мнению, извлечь из атомов энергию невозможно. На следующее утро, прочитав доклад Резерфорда, Лео Силард разозлился и изобрел ядерную цепную реакцию, запускаемую нейтронами! В итоге сказанное Резерфордом «никогда» 16 часов спустя стало реальностью. Такие примеры внушают оптимизм!

М. Ф.: Вы надеетесь, что сильный ИИ появится при вашей жизни?

С. Р.: Когда на меня начинают так давить, я иногда говорю, что ожидаю его появления при жизни моих детей. На самом деле это просто уход от прямого ответа, потому что к этому времени могут появиться технологии продления жизни.

Благодаря таким компаниям, как Google, Facebook, Baidu, над задачей работает множество очень умных людей. В ИИ вкладываются огромные ресурсы. Темой активно интересуются студенты. Большинство ученых, занимающихся этой темой, считают появление сильного ИИ делом недалекого будущего.

М. Ф.: А как вы думаете, что произойдет после появления сильного ИИ?

С. Р.: В этом случае многие вещи подойдут к своему финишу. Появятся новые измерения интеллекта, и одна за другой будут решаться различные проблемы. Например, сверхчеловеческое мышление можно применить к военной и корпоративной стратегии. Эти инструменты могут появиться у машины раньше, чем умение читать и понимать сложный текст. Первые системы сильного ИИ вряд ли смогут самостоятельно знакомиться с устройством мира или управлять им. Во многих отношениях они будут догматичными.

М. Ф.: Я хотел бы поговорить о рисках, которые несет ИИ. Ведь, как я знаю, именно на этой теме вы фокусировались в последних работах. Многие считают, что мы приближаемся к новой промышленной революции. Надвигается нечто, что полностью преобразует рынок труда, экономику и прочее. Вы согласны?

С. Р.: Как я уже говорил, невозможно предсказать дату прорыва, после которого ИИ начнет выполнять большую часть человеческой работы. Нельзя составить и однозначный список профессий, которые могут начать исчезать.

В современных дискуссиях и презентациях способности современных технологий сильно завышаются. Кроме того, не осознается сложность интеграции новых систем в существующую схему функционирования корпораций, правительств и т. д.

Разумеется, многие рабочие обязанности сводятся к повторяющимся, рутинным действиям, и имеет смысл для их выполнения заменить человека роботом.

Мне кажется, что в правительствах сейчас думают примерно так: «Нужно начинать подготовку специалистов, которые будут заниматься аналитикой данных и обслуживанием роботов». Но проблема в том, что нам не потребуется миллиард таких специалистов, все ограничится миллионами. Возможно, в маленьких странах, таких как Сингапур или ОАЭ, это жизнеспособная стратегия. Но в большой стране для таких специалистов не будет достаточного количества рабочих мест. Так что в долгосрочной перспективе проблема с безработицей решения не имеет.

Я вижу два варианта развития событий.

В первом случае большинство просто не будет работать, так как будет введен универсальный базовый доход. Ведь после автоматизации возрастет продуктивность, появится изобилие товаров и услуг, которое позволит в той или иной форме субсидировать всех неработающих. Человек лишится множества вещей, необходимых для поддержания интереса и стимула к жизни и созиданию.

Во втором варианте будущего, несмотря на то что машины возьмут на себя заботу о выпуске множества товаров и предоставлении базовых услуг, люди займутся вещами, улучшающими качество жизни. Будет цениться умение обучать, вдохновлять на более богатую, интересную, разнообразную и насыщенную жизнь. Учиться ценить литературу и музыку или выживать в дикой местности.

М. Ф.: Думаете, можно направить людей ко второму варианту будущего?

С. Р.: Разумеется, для реализации второго, позитивного варианта потребуется вмешательство извне. Движение в этом направлении нужно начинать прямо сейчас. Строить мир, обеспечивающий эмоциональную устойчивость и воспитывающий конструктивное и позитивное отношение к собственной и к чужой жизни. На данный момент мы не умеем жить таким способом.

Еще я думаю, что нужно коренным образом поменять отношение к науке и тому, что она может дать. На исследования и разработку мобильного телефона потрачены миллиарды долларов. При этом мы почти не пытаемся понять, как вести интересную и полноценную жизнь, как помогать окружающим и в какой момент. Сейчас этим никто не занимается, в этой области нельзя получить научную степень, СМИ практически не пишут об этом, а опубликованные материалы не воспринимаются всерьез.

Я допускаю появление в будущем прекрасно функционирующей экономики, в которой люди, имеющие опыт в разных областях, делятся им с остальными как коучи, преподаватели или психотерапевты.

Это будущее гораздо лучше нашего настоящего; но для перехода к нему нужно переосмыслить систему образования, научную базу, экономические структуры, определить, по какой схеме будут распределяться доходы. Хотелось бы избежать разделения на богачей, владеющих роботами и системами ИИ, тех, кто им прислуживает, и весь остальной мир, который ничем не занят. С экономической точки зрения это наихудший из возможных сценариев.

М. Ф.: Как в Беркли, так и в Калифорнийском университете в Сан-Франциско вы работали над машинным обучением на базе медицинских данных. Как вы думаете, сможет ли ИИ улучшить ситуацию в области здравоохранения?

С. Р.: Думаю, да. Но мне кажется, что в такой сфере, как медицина, лучше будут работать подходы, базирующиеся на накопленных знаниях и построенных моделях, а не машинное обучение.

Хотя допускаю, что в каких-то областях медицины терабайты маркированных данных дадут хорошие результаты. Активная работа такого рода велась в 1960–1970-х гг., что привело к определенному прогрессу систем ИИ в области медицины. Но современные технологии показали несовершенство имеющихся моделей. По большому счету это модели полностью предсказуемого вымышленного человека.

Вероятностные системы – более обоснованный и целесообразный подход. Они позволяют добавлять к классическим моделям физиологии собираемые в реальном времени данные наблюдений, чтобы поставить диагноз и запланировать лечение.

М. Ф.: А какие риски несет применение ИИ в качестве оружия?

С. Р.: Я думаю, уже началась новая гонка вооружений. В рамках которой, возможно, уже ведется разработка автономного оружия, которому достаточно описания миссии, чтобы самостоятельно идентифицировать и атаковать цель.

Ужаснее всего то, что из автономности логически вытекает масштабируемость. Если для каждой единицы вооружения не требуется человек-оператор, ничто не помешает, например, активировать 10 млн орудий убийства и уничтожить в отдельно взятой стране всех мужчин в возрасте от 12 до 60 лет. Это оружие массового уничтожения.

Применение ядерного оружия – это все-таки переход определенной черты, от которого мы пусть с трудом, но удержались даже в разгар холодной войны. У автономного оружия такого порога нет, к тому же оно легко распространяется. Поэтому, как только будет налажено его производство, доступ к нему получат в числе прочих люди, которые без колебаний пустят его в ход.

М. Ф.: Но ведь в военных целях могут применяться и обычные устройства. Достаточно приобрести на сайте Amazon беспилотный летательный аппарат и добавить к нему оружие…

С. Р.: Современные беспилотные летательные аппараты все-таки управляются с земли. Конечно, к такому аппарату можно прикрепить небольшую бомбу и доставить ее куда нужно, но сам по себе он этого сделать не сможет. Кроме того, для запуска 10 млн дронов потребуется столько же людей-операторов. Гипотетически можно представить, что кто-то подготовит целую армию для управления оснащенными бомбами дронами, но такие вещи попадают под санкции международных контролирующих органов. А вот возможности контролировать автономное оружие пока не существует.

М. Ф.: Но разве невозможно в домашних условиях разработать автономную систему управления и развернуть ее на дронах? Контролируются ли как-нибудь подобные вещи?

С. Р.: Да, для управления оснащенными оружием дронами можно использовать нечто похожее на программное обеспечение, которое управляет беспилотным автомобилем. В результате получится самодельное автономное оружие. Возможно, по этому поводу со временем будет заключен некий регулирующий договор, придумают механизм проверки с привлечением производителей дронов и чипов для беспилотных автомобилей. На заметку будут брать всех, кто заказывает подобные комплектующие в больших количествах. Разумеется, плохие вещи все равно будут делаться, но редко. А в небольших количествах автономное оружие не обладает особыми преимуществами перед обычным.

Кроме того, с применением ИИ в военных целях связаны и другие риски. Например, машины могут неправильно истолковать какой-то сигнал. Нельзя сбрасывать со счетов и вероятность взлома, после чего автономное оружие, которое вы считаете своей надежной защитой, обернется против вас.

М. Ф.: Эти пугающие сценарии вы показали в короткометражном фильме Slaughterbots («Роботы-убийцы»).

С. Р.: В письменной форме мы не смогли достучаться до широких масс. Люди продолжали считать автономное оружие научной фантастикой.

М. Ф.: В 2014 г. вместе со Стивеном Хокингом, Максом Тегмарком и Фрэнком Вильчеком вы опубликовали письмо^[10], в котором говорилось о недостаточно серьезном отношении к рискам, связанным с ИИ. Среди авторов вы были единственным специалистом в области computer science. Как появилась идея этого письма?

С. Р.: Все началось с того, что Национальное общественное радио попросило меня поделиться мыслями по поводу фильма «Превосходство». Фильм совсем недавно появился в прокате, поэтому я пошел в кино, понятия не имея о том, что именно увижу.

Сначала там показали отдел информатики в Беркли. Профессор в исполнении Джонни Деппа рассказывал об ИИ, как вдруг его убил представитель радикальной антитехнологической группировки. В этот момент я невольно сжался, ведь на месте этого профессора в то время вполне мог оказаться и я. Перед смертью ученого его жена и лучший друг успели загрузить его мозг в большой квантовый компьютер. Он стал сверхинтеллектуальной сущностью, которая смогла быстро развить различные новые технологии и попыталась захватить мир.

В итоге появилось письмо, которое на первый взгляд представляло собой рецензию на фильм, но на самом деле несло следующую идею: «Любые создаваемые машины могут оказать сильное влияние на реальный мир, и это может стать серьезной проблемой, потому что речь идет о передаче контроля над нашим будущим объектам, которые не являются людьми». Ведь именно интеллект дает нам способность контролировать мир.

М. Ф.: Но многие видные ученые, занимающиеся ИИ, не считают это проблемой…

С. Р.: Да, я слышал много раз, что связанные с ИИ проблемы надуманны. Но пока аргументы сторонников такой точки зрения не показались мне заслуживающими внимания. Например, утверждать, что механизм с ИИ можно просто отключить, все равно что считать, что для победы в го над компьютером AlphaZero достаточно правильно двигать свои камни.

Отрицание проблемы ИИ я воспринимаю как защитную реакцию. Чтобы перестать бояться угрозы, люди убеждают себя, что ее не существует. По крайней мере, эта теория объясняет, почему даже очень информированные люди пытаются отрицать наличие проблемы.

Распространяется теория и на тех представителей ИИ-сообщества, которые не верят в возможность появления сильного ИИ. Здесь ситуация еще забавнее, потому что у нас за плечами 60 лет работы над темой, в успех которой мало кто верил. Но вещи, которые, если верить скептикам, были невозможными, воплотились в реальности. Например, компьютер победил чемпиона мира по шахматам.

Я верю, что люди, которые за историю своего существования сделали множество открытий и даже научились пользоваться атомной энергией, смогут преодолеть препятствия и создадут интеллект, достаточно сильный для того, чтобы возникла угроза его выхода из-под контроля. Благоразумно начать думать над тем, как убрать эту угрозу еще на стадии проектирования систем ИИ.

М. Ф.: А как это можно сделать?

С. Р.: На мой взгляд, мы не совсем корректно определяем понятие «интеллект». В целом, это рациональное поведение. Если создать машины с аналогичной способностью осуществлять свои намерения, появятся очень умные существа, но со своими целями. И достигать они будут именно их!

Первоначально ИИ был задуман как оптимизатор: то есть искатель оптимальных путей достижения человеческой цели. И это работало, но только потому, что созданные машины не были по-настоящему интеллектуальными и функционировали в ограниченном пространстве. После выхода ИИ в реальный мир все может пойти не по плану. Мы уже видели обвал торговых рынков после появления торговых ботов.

Мне кажется правильным, когда машины, помогающие в достижении наших целей, не знают, в чем эти цели заключаются. Нужна неопределенность относительно характера наших целей. Именно она даст желанную гарантию безопасности.

Попробую продемонстрировать это на примере. Если цель машины приносить кофе, при достаточном интеллекте она сможет понять, что в выключенном состоянии она не сможет этого сделать. Тогда она предпримет шаги для предотвращения выключения. Я считаю, что необходимо заложить в машину цель избегать нежелательных для человека действий. Такое видение ИИ можно описать математически, показав, что гарантия безопасности (то есть в данном случае мотив, под влиянием которого машина позволит себя выключать) напрямую связана с отсутствием информации о целях человека.

Конечно, мое видение ИИ несколько отличается от общепринятого. Но именно так можно построить систему ИИ, более совершенную с точки зрения безопасности и контроля.

М. Ф.: Раз уж речь зашла о безопасности и контроле, поясните, пожалуйста, насколько серьезно следует относиться к гонке вооружений в других странах, особенно в Китае.

С. Р.: Ник Бостром и другие ученые выражали свое беспокойство тем, что, если правительство сочтет стратегическое доминирование в области ИИ важным компонентом национальной безопасности и экономического лидерства, то акцент будет делаться на его максимально быстрое развитие. Забота о степени контролируемости таких систем в этом случае отойдет на второй план.

Эти опасения кажутся мне не лишенными основания. С другой стороны, поскольку мы работаем над системами ИИ, пригодными для использования в реальном мире, у нас есть экономический стимул сделать так, чтобы они оставались под контролем.

Для примера представим продукт, который может появиться в ближайшем будущем: обладающий интеллектом личный помощник, фиксирующий ваши действия, разговоры, отношения и т. п. Фактически это личный секретарь. Вы же понимаете, что систему, которая не разбирается в человеческих предпочтениях и действует небезопасными способами, просто никто не купит. Система, не понимающая нюансов человеческой жизни, может забронировать номер в гостинице за 20 000 долларов в сутки или ответит отказом на предложение встретиться с президентом, потому что на это время вы уже записаны к стоматологу. Кому нужен такой робот? Это станет концом индустрии. Вспомните, что случилось с атомной промышленностью после Чернобыля и Фукусимы. Если мы не сможем решить проблему контроля, область ИИ умрет.

М. Ф.: Но в целом вы оптимист? Думаете, что все получится?

С. Р.: Да, меня можно назвать оптимистом. Мы только начинаем подходить к проблеме управления, но первые попытки кажутся вполне продуктивными. Поэтому я верю, что существует путь развития, который позволит создать доказанно полезные системы ИИ.

Разумеется, есть риск, что даже если мы решим проблему контроля и построим полезные ИИ-системы, кто-то другой может пойти по пути наращивания возможностей ИИ без учета аспектов, связанных с безопасностью. Эдакий доктор Зло, который создаст разрушительную систему ИИ или будет злоупотреблять контролируемым ИИ. В этих сценариях мы постепенно превратимся в ослабленное общество, в котором так много знаний перенесено в машины и так много решений отдано им на откуп, что вернуть контроль над ситуацией мы уже не сможем и потеряем свободу воли.

Такое будущее изображено в фильме «ВАЛЛ-И», где люди отправляются в космос в попытке спастись, а на кораблях их обслуживают машины. Постепенно люди становятся слабее, ленивее и глупее. О риске оказаться в таком будущем тоже следует помнить.

Но я оптимистично надеюсь на будущее, в котором системы ИИ смогут напоминать людям: «Не используйте нас. Получайте знания и навыки самостоятельно. Сохраняйте свои возможности и способности, распространяйте цивилизацию через людей, а не через машины».

9 10

Джеффри Хинтон

“В 1980-х гг., когда вокруг ИИ в целом и метода обратного распространения в частности была большая шумиха, люди ждали чудес и не дождались. Но сегодня чудеса уже происходят, а на шумиху не стоит обращать внимание."

Профессор computer science Университета Торонто, руководитель инженерно-технической службы компании GOOGLE, главный консультант научно-исследовательского центра Vector Institute

Джеффри Хинтона иногда называют крестным отцом глубокого обучения. Именно он стоял у истоков таких ключевых технологий, как метод обратного распространения, машина Больцмана и капсульная нейронная сеть.

Джеффри – член Лондонского королевского общества, а также иностранный член Национальной инженерной академии США и Американской академии искусств и наук. Обладатель премии Румельхарта, награды IJCAI за исследовательские достижения, канадской национальной премии Killam Prize в области разработки, награды имени Фрэнка Розенблатта, золотой медали Джеймса Клерка Максвелла от Института инженеров электротехники и электроники (IEEE), награды C & C от японской корпорации NEC, премии от компании BBVA и высшей награды Канады в области науки и техники – золотой медали Герхарда Херцберга.

Мартин Форд: Широкую известность вам принесла работа над методом обратного распространения ошибки. Расскажите, пожалуйста, что это за метод?

Джеффри Хинтон: Проще всего объяснить от обратного. Считается, что существует четкий алгоритм обучения нейронных сетей. Есть сеть, состоящая из слоев нейронов, снизу – вход в нее, сверху – выход. Все связи между нейронами имеют свой вес. Каждый нейрон смотрит на нейроны нижнего слоя и умножает их активность на вес связей, затем складывает все это и выдает результат. Регулируя вес связей, можно заставить сеть выполнять нужные вам операции, например находить кота на изображении и добавлять соответствующую метку.

Но как с помощью регулировки весов добиться от сети нужного результата? Существует простой и эффективный, но невероятно медленный алгоритм. Всем связям присваиваются случайные веса, сети демонстрируются примеры, и вы смотрите, что получается. Затем один из этих весов немного меняется, и демонстрируется другой набор примеров. Если результат работы сети стал лучше, внесенные изменения сохраняются. В противном случае вес возвращается к исходному значению или меняется в противоположном направлении. Затем эта операция проделывается с весом следующей связи и т. д.

В результате работа сети оценивается для каждого веса, причем на ряде примеров. Каждый вес должен обновляться несколько раз. Это медленно, но результат гарантирован.

Метод обратного распространения ошибки, по сути, позволяет получить такой же результат намного быстрее. Скорость его работы зависит от количества связей. Для сети с миллиардом связей метод обратного распространения сработает в миллиард раз быстрее, чем описанный выше алгоритм.

Прямой алгоритм имитирует процесс эволюции, ведь то, как заложенная в генах информация реализуется в конкретном индивиде, зависит от среды, в которой он находится. По генотипу невозможно точно предсказать, как будет выглядеть фенотип или насколько он будет успешным, потому что на это влияет множество внешних факторов.

Поскольку корректность результатов определяется только весами, которые нам известны, процесс прохождения данных можно контролировать с помощью метода обратного распространения. Его суть состоит в передаче сигналов ошибки от выхода к входу. В процессе их прохождения вычисляется, как следует поменять вес каждой связи, чтобы улучшить выводимый результат.

Вместо того чтобы измерять эффект от внесенных изменений, метод обратного распространения ошибки вычисляет, что получится после внесения изменений, причем для всех весов одновременно. Настройка весов выполняется быстро: сети предоставляется сразу несколько примеров, рассчитывается разность между требуемым выходом и результатами сети, после чего эта информация передается в обратном направлении. Процесс выполняется несколько раз, но все равно работает быстрее эволюционного алгоритма.

М. Ф.: Метод обратного распространения ошибки изобрел Дэвид Румельхарт, а вы развили его?

Дж. Х.: Версии этого метода предлагались еще до Румельхарта. В основном к этой идее приходили независимо друг от друга, поэтому меня всегда смущает, когда в СМИ меня называют автором этого метода. Я главным образом продемонстрировал, как использовать этот метод для изучения распределенных представлений.

В 1981 г. после получения докторской степени я начал работать в городе Сан-Диего, штат Калифорния. Идею метода обратного распространения ошибки предложил Дэвид Румельхарт, а мы с Рональдом Уильямсом помогли в поиске правильных формулировок. Ничего впечатляющего с этим методом мы тогда не сделали. Не было и никаких публикаций. После этого я отправился в Университет Карнеги – Меллона, где работал над машиной Больцмана. Эта идея казалась более интересной, хотя она и не сработала. В 1984 г. я вернулся в Сан-Диего, чтобы сравнить метод обратного распространения с машиной Больцмана. Оказалось, что он дает более убедительные результаты, поэтому я снова начал общаться с Дэвидом Румельхартом.

Но по-настоящему меня восхитила возможность на примере формирования генеалогического древа применить метод обратного распространения к изучению распределенных представлений. На вход подавалось два слова, а возвращалось третье, связанное с обоими. То есть нейросеть как бы улавливала значения слов.

Например, если мать Шарлотты зовут Виктория, то корректным выводом для слов Шарлотта и мать было Виктория. А для слов Шарлотта и отец корректным был ответ Джеймс. Если взять генеалогическое древо, в котором нет разводов, то стандартный ИИ, используя свои знания о семейных отношениях, может сделать вывод, что Виктория – супруга Джеймса. К такому же выводу может прийти нейронная сеть, причем не пользуясь логическими правилами, а просто изучив множество признаков каждого человека. В этом случае Виктория и Шарлотта – это наборы отдельных признаков. Результат взаимодействия двух векторов дает признаки корректного ответа. Потрясает, как сеть изучает векторы признаков и распределенные представления для разных слов.

В 1986 г. мы описали это в статье для журнала Nature. Тема сильно заинтересовала одного из рецензентов. Как психолог, он понимал, что алгоритм, обучающий представлению о вещах, станет огромным прорывом. Так что мой вклад заключается не в открытии алгоритма обратного распространения, а в том, что я смог показать, как этот метод может применяться для обучения распределенным представлениям. Именно это оказалось интересно психологам и, в конечном итоге, людям, которые занимались вопросами ИИ.

В начале 1990-х Иошуа Бенджио перенес этот метод на более быстрые компьютеры. Он применил нейронную сеть к естественному языку. Сеть брала из текста несколько слов в качестве контекста и могла предсказать следующее слово. Ян Лекун, который в это время занимался компьютерным зрением, показал, что метод обратного распространения хорошо обучает фильтры обработки визуального входа. Это не стало особым открытием, так как примерно такие же вещи делает человеческий мозг. А вот то, что метод обратного распространения позволил машине уловить значения слов и синтаксис, стало большим прорывом.

М. Ф.: Правильно ли я понимаю, что в то время работа с нейронными сетями еще не была основным направлением в исследованиях ИИ?

Дж. Х.: До некоторой степени да, но тут нужно отдельно рассматривать ИИ и машинное обучение, с одной стороны, и психологию – с другой. В 1986 г., когда метод обратного распространения стал популярным, им заинтересовались психологи. Это был устойчивый интерес, хотя алгоритм не копировал происходящие в мозге процессы. А в конце 1980-х гг. Ян Лекун получил впечатляющие результаты по распознаванию рукописных цифр. Метод обратного распространения хорошо себя показал и в других областях, таких как контроль мошенничества с кредитными картами. Но ожидания тех, кто считал, что теперь нам будут доступны настоящие чудеса, не оправдались.

В начале 1990-х гг. оказалось, что на небольших наборах данных лучше себя показывают другие методы машинного обучения. Например, метод опорных векторов с меньшими усилиями распознавал рукописные цифры. И интерес к обратному распространению затух.

Идея метода обратного распространения состояла в обучении множества слоев, но обучить удалось только не очень глубокие сети. С точки зрения специалистов по статистике и ИИ мы были мечтателями, которые надеялись получить информацию обо всех весах только по входным и выходным данным. На тот момент нам не хватало знаний, чтобы заставить все это работать.

До 2012 г. большинство специалистов по компьютерному зрению считали все это сумасбродством, хотя системы Яна Лекуна иногда работали лучше, чем их собственные. Ян написал статью, но ее не приняли, так как считалось, что этот способ не даст результатов. Даже в мире науки альтернативные подходы отвергаются.

Но внезапно крупный конкурс выиграли двое моих учеников. Они применили комбинацию методов, разработанных в лаборатории Лекуна, и наших собственных техник и получили в два раза меньше ошибок, чем лучшие системы компьютерного зрения.

М. Ф.: Речь идет о проекте ImageNet?

Дж. Х.: Да. Там случилось то, что периодически происходит в науке. Метод, который привыкли считать полной бессмыслицей, превзошел метод, в который все верили. За следующие два года все переключились на сверточные нейронные сети. Сейчас никто даже не думает о классификации объектов без использования нейронной сети.

М. Ф.: То есть в 2012 г. наступил переломный момент в отношении глубокого обучения?

Дж. Х.: Это был переломный момент для компьютерного зрения. В сфере распознавания речи он случился раньше. В 2009 г. два аспиранта из Торонто показали, что глубокое обучение позволяет улучшить распознавание речи. Они стали стажерами в IBM и Microsoft, а другой мой студент принес эту систему в Google.

М. Ф.: Если почитать современную прессу, создается впечатление, что нейронные сети и глубокое обучение – это эквивалент ИИ.

Дж. Х.: Долгое время ИИ считался системой, запрограммированной на определенные правила обработки символьных строк. В этом заключался интеллект. Оставалось уточнить, как выглядят эти правила и строки. Затем появились нейронные сети. Это была попытка смоделировать разум по образцу человеческого мозга.

Обратите внимание, что ИИ в том виде, как его изначально понимали, не имел отношения к обучению. В 1970-х гг. упор делался на определение правил и выбор символических выражений. Считалось, что рано думать об обучении. Тех же, кто занимался нейронными сетями, интересовали вопросы обучения, восприятия и управления движением. Они считали, что с точки зрения эволюции способность рассуждать логически появляется на поздних стадиях развития.

Сейчас в промышленности и правительстве термин «ИИ» используют для обозначения глубокого обучения, что приводит к парадоксальным ситуациям. Например, в Торонто было щедро профинансировано создание научно-исследовательского центра Vector Institute, который занимается фундаментальными исследованиями в области глубокого обучения. Разумеется, на финансирование претендуют многие, и один университет заявил, что у них больше специалистов по ИИ, чем в Торонто, приведя в качестве доказательства количество ссылок на их работы. При этом они занимаются классическим ИИ. Мне кажется, что лучше вообще не пользоваться этим термином, чтобы не давать поводов для подобной путаницы.

М. Ф.: Вы считаете, что термин «искусственный интеллект» должен быть связан только с нейронными сетями?

Дж. Х.: Я думаю, общая идея ИИ состоит в создании небиологических интеллектуальных систем. Хотя до сих пор у многих, особенно у старшего поколения ученых, сохраняется наивное представление об ИИ как о системе, умеющей манипулировать символическими выражениями. Но даже наборы символов на входе и выходе не означают, что внутри мы имеем дело с символьными строками. Там находятся векторы нейронной активности.

М. Ф.: В конце 2017 г. вы сказали в интервью^[11], что алгоритм обратного распространения ошибки нужно отбросить, все начать с нуля. Что вы имели в виду?

Дж. Х.: В данном случае неверно передан контекст беседы. Я поднимал вопрос о том, насколько метод обратного распространения может помочь в понимании принципов работы мозга. Есть основания полагать, что в мозге ничего подобного не происходит. Но это не означает, что метод не нужно применять при моделировании искусственных систем.

М. Ф.: И возможно, результаты будут улучшаться?

Дж. Х.: Мы работаем над совершенствованием глубокого обучения. Я допускаю появление других алгоритмов, действующих альтернативными способами. Но даже их появление не значит, что следует отказаться от метода обратного распространения.

М. Ф.: А почему вас заинтересовали ИИ и нейронные сети?

Дж. Х.: Мой школьный друг Инман Харви был очень хорошим математиком. И однажды заинтересовался идеей, что мозг может работать как голограмма.

М. Ф.: Голограмма как трехмерное представление?

Дж. Х.: Вы помните, что если разрезать голограмму, получится не две половины изображения, а нечеткое изображение всей сцены в каждой половине? Такой способ распределения информации отличается от того, к чему мы привыкли. Отрезав кусок фотографии, вы просто потеряете информацию о том, что было на этом фрагменте.

Инмана заинтересовал тот факт, что таким же способом может работать память человека, в то время как каждый отдельный нейрон не отвечает за ее сохранение. Он предположил, что информация в мозге хранится благодаря настройке силы связей между нейронами, и что, по сути, это распределенное представление, то есть попытка изобразить какие-то вещи, которым соответствует активность в ряде нейронов, но каждый нейрон участвует в представлении разных вещей. При таком подходе исключено однозначное соответствие между нейронами и понятиями. Это первое, что меня заинтересовало. Кроме того, было интересно, каким образом мозг может учиться чему-то, регулируя силу соединений между нейронами.

М. Ф.: И это в старших классах школы? Потрясающе! А как поменялись ваши интересы после поступления в университет?

Дж. Х.: Там я начал изучать физиологию. И узнал, как нейроны распространяют потенциалы действия. Помогли эксперименты на аксоне гигантского кальмара. Оказалось, что именно так работает мозг. Но я разочаровался, узнав, что не существует модели процесса представления или изучения различных вещей.

Я переключился на психологию, думая, что здесь мне скажут, как работает мозг. Но в то время в Кембридже основной упор делался на бихевиоризм, и изучение психологии сводилось к крысам в лабиринтах. Конечно, занимались и когнитивной психологией, но это не имело отношения к вычислительным методам, поэтому мне казалось, что мы никогда не узнаем, как же работает мозг.

В рамках проекта по изучению развития детей я смотрел, как в возрасте от 2 до 5 лет меняется восприятие различных свойств. Оказалось, что совсем маленькие дети в основном интересуются цветом и текстурой, а по мере взросления их начинает интересовать форма. Детям демонстрировались три объекта, один из которых отличался от двух других. Например, два желтых круга и один красный. Мне нужно было научить детей убирать лишний объект.

В следующих заданиях лишним был объект другой формы. После этого детям предложили желтый треугольник, желтый круг и красный круг. Предполагалось, что если детей больше интересует цвет, они уберут красный круг, а если форма – лишним окажется желтый треугольник. Один пятилетний ребенок указал на красный круг и сказал: «Он покрашен в неправильный цвет».

Я работал над подтверждением крайне примитивной модели, которая всего лишь утверждала, что фокус смещается от цвета к форме, но никак не объясняла почему. Ребенок же обработал информацию, которую ему давали в виде обучающих примеров, и, столкнувшись с набором, допускавшим удаление более чем одного объекта, решил, что, возможно, что-то покрашено не в тот цвет.

Тестируемая модель не была адаптирована к уровню сложности изучаемой системы, и других адекватных моделей не было. Передо мной была интеллектуальная система, умеющая обрабатывать информацию и делать выводы о причинах происходящего. И я прекратил ее исследовать таким неэффективным способом.

М. Ф.: После этого вы начали заниматься ИИ?

Дж. Х.: Нет, я стал плотником. И некоторое время наслаждался этим, пока не увидел работу настоящего мастера. Это меня так расстроило, что я решил вернуться в науку.

М. Ф.: Если вспомнить, что было дальше, наверное, к лучшему, что вам не удалось стать по-настоящему квалифицированным плотником!

Дж. Х.: Дальше я принял участие в проекте по изучению развития речевых навыков у детей. Хотелось понять, каким образом на них влияет принадлежность к определенному социальному классу. Мне нужно было создать вопросник для оценки отношения матерей. Первое же интервью меня ошарашило. Женщина из бедного пригорода Бристоля на вопрос, как она относится к тому, что ребенок разговаривает, ответила: «Если он начинает разговаривать, мы его бьем». На этом моя карьера социального психолога завершилась.

Я поступил в аспирантуру Университета Эдинбурга по специальности ИИ. Моим руководителем был Хью Кристофер Лонге-Хиггинс, который изначально занимался химией в Кембридже, а затем переключился на изучение ИИ. Он верил в компьютерное моделирование, поэтому я попросился к нему. К сожалению, у него как раз начался переломный период. Он решил, что нейронные модели ничего не дают, а к пониманию интеллекта нужно идти через язык.

Напомню, что как раз тогда появились модели систем, которые могли определять расположение блоков. В них применялась обработка символов. Американский профессор Терри Виноград показал, как заставить компьютер в определенной степени понимать язык, отвечать на вопросы и фактически следовать командам. Можно было сказать: «Покажи блок, который находится в синем ящике на вершине красного куба», и получить желаемое. Лонге-Хиггинса это сильно впечатлило, и он решил над этим работать, я же предпочел продолжить изучение нейронных сетей.

Я считаю Кристофера замечательным ученым, хотя мы и не смогли прийти к согласию в работе. Он поддерживал меня, даже когда я отказывался делать то, что он говорил. В конце концов, я защитил диссертацию по нейронным сетям, хотя в то время они, по общему мнению, были полной чепухой.

М. Ф.: Примерно в то время Марвин Минский и Сеймур Пейперт написали свою книгу «Персептроны»^[12].

Дж. Х.: Нет, защитился я в начале 1970-х гг., а книга Минского и Пейперта вышла в конце 1960-х гг. Практически все, кто занимался ИИ, думали, что нейронным сетям конец. Считалось, что интеллект обусловлен программно, и нужно просто понять, какие программы использует мозг.

Что интересно, были и сторонники логического подхода, которые верили в парадигму нейронных сетей. Например, Джон фон Нейман и Алан Тьюринг полагали, что большие сети нейронов способны помочь в изучении интеллекта. Но доминировал подход, в котором одни строки символов формировали другие. Казалось, что модель логических рассуждений должна выглядеть именно так. Мало кто верил, что можно понять интеллект, глядя на то, как реализован мозг. Было убеждение, что интеллект должен рассматриваться сам по себе.

М. Ф.: В прессе много писали, что успехи глубокого обучения преувеличены и следует сокращать инвестиции в эту сферу. Мне даже встречалось выражение «зима ИИ». Исследования зашли в тупик?

Дж. Х.: В 1980-х гг., когда вокруг ИИ в целом и метода обратного распространения в частности была большая шумиха, люди ждали чудес и не дождались. Но сегодня чудеса уже происходят, а на шумиху не стоит обращать внимание. Наши мобильные телефоны распознают речь, компьютеры узнают объекты на фотографиях, Google выполняет машинный перевод. Искусственно созданный ажиотаж означает раздачу обещаний, которые никто не собирается выполнять. Но сейчас мы уже многого достигли и не собираемся на этом останавливаться.

В интернете я иногда вижу рекламу, где говорится, что это индустрия стоимостью 19,9 триллиона долларов. Кажется, что это много и похоже на обман, но идея о том, что это сфера с многомиллиардными доходами, явно не просто шумиха, потому что несколько человек вложили в нее миллиарды долларов, и это сработало для них.

М. Ф.: Во что лучше всего инвестировать для продвижения вперед? Ведь все еще остались люди, которые верят в условный ИИ и считают, что оптимально совмещать глубокое обучение с более традиционными подходами. Как вы относитесь к этой точке зрения?

Дж. Х.: Я считаю, что работа мозга – это взаимодействие больших векторов нейронной активности. И именно по такому принципу будет работать ИИ. Разумеется, понять механику рассуждений тоже важно, но, мне кажется, мы сможем это сделать уже после того, как реализуем все остальное.

Я не верю в гибридные системы. Был пример в автомобильной промышленности, когда электродвигатель стали использовать для впрыскивания бензина. Точно так же сторонники условного ИИ, признавая все преимущества глубокого обучения, хотят использовать его как слугу, который обеспечит функционирование символических рассуждений. Это попытка остаться на старых позициях, невзирая на меняющиеся обстоятельства.

М. Ф.: Мне вспоминается ваш последний проект, связанный с так называемыми капсулами, имитирующими, как я понимаю, колонки кортекса в мозгу. Считаете ли вы, что результаты изучения мозга следует включать в работу с нейронными сетями?

Дж. Х.: Капсулы появились как сложная и умозрительная комбинация полудюжины разных идей. Об успехах этой концепции пока говорить рано, но ее основой действительно послужила структура человеческого мозга. Думать о работе с нейронными сетями на базе достижений нейробиологии несколько наивно. Ученые пытаются понять базовые принципы функционирования мозга, но при этом есть еще и многочисленные детали, которые по-разному выглядят на разном аппаратном обеспечении. Графические процессоры (GPU) мало напоминают мозг, но это не мешает нам искать общие принципы работы мозга и нейросетей. Например, в обоих случаях большая часть знаний возникает благодаря обучению, а не механическому запоминанию фактов.

Для условного ИИ нужна огромная база фактов и правила их связи друг с другом. Перенести какое-то знание из одного мозга в другой невозможно. В голове множество параметров, то есть весов связей между отдельными нейронами, которые не передадутся. Если один человек расскажет, каким образом что-то работает, другой может повторить эти действия, но не более. И это хорошо, потому что у каждого своя нейронная сеть.

М. Ф.: Правда ли, что глубокое обучение в основном происходит на базе маркированных данных, то есть речь идет о так называемом обучении с учителем, а задача обучения без учителя еще не решена?

Дж. Х.: Это не совсем так. Существует большая зависимость от размеченных данных, но вопрос в том, что считать такими данными. Например, если я попрошу вас предсказать следующее слово в большой текстовой строке, меткой правильного ответа будет слово, которое фактически там фигурирует. Дополнительные метки тут не нужны. А если нужно обучиться распознавать на картинках кошек, потребуется метка «кошка», которая не является частью изображения. Эти метки нужно будет добавлять вручную. По идее первая задача тоже относится к обучению с учителем, потому что мы имеем дело с метками. Но это своего рода промежуточный вариант между маркированными и немаркированными данными.

М. Ф.: Дети по большей части учатся без учителя.

Дж. Х.: Исходя из того, что я говорил выше, ребенок воспринимает окружающую среду, пытаясь предсказать, что будет дальше. Затем, когда что-то происходит, событие помечается как правильно или неправильно угаданное. К сожалению, в случае прогнозирования сложно понять, какой из вариантов, «с учителем» или «без учителя», применяется. Задача, в которой по набору изображений нужно предсказать, какое будет следующим, не попадает ни в одну из двух категорий.

М. Ф.: То есть одно из основных препятствий сейчас – отсутствие общей формы обучения?

Дж. Х.: Да. Но я утверждаю, что решить задачу предсказания могут алгоритмы обучения с учителем.

М. Ф.: А как бы вы определили сильный ИИ?

Дж. Х.: Меня вполне устраивает официальное определение, утверждающее, что это интеллект, сравнимый с человеческим, но многие думают, что появятся отдельные модули ИИ, которые будут становиться все умнее и умнее. Они не понимают, что нейронные сети в чем-то превосходят людей, а в чем-то сильно уступают им. Например, ИИ-система может лучше интерпретировать медицинские изображения, но ей сложно рассуждать о них.

Представляя отдельные ИИ-системы, люди игнорируют социальный аспект. Для ИИ требуются вычислительные ресурсы, поэтому создание сильного ИИ приведет к появлению сообществ интеллектуальных систем. Ведь сообществу доступно гораздо больше данных, чем отдельной системе. Лучше распределить данные по множеству систем и заставить их общаться друг с другом.

М. Ф.: И все сведется к появлению связанного интеллекта?

Дж. Х.: Но ведь в мире людей все обстоит точно так же. Мы извлекаем знания из источников, составленных для нас другими людьми. А опыт обучения позволяет прийти к аналогичному пониманию.

М. Ф.: Реально ли создать сильный ИИ?

Дж. Х.: В компании OpenAI уже есть система, играющая в сложные компьютерные игры как одна команда.

М. Ф.: А когда, по вашим прогнозам, ИИ научится рассуждать, думать и действовать как человек?

Дж. Х.: Рассуждения – это одна из тех вещей, с которыми люди действительно хорошо справляются. Пройдет немало времени, прежде чем большие нейронные сети достигнут таких же результатов. И до этого они успеют превзойти людей во многих других вещах.

М. Ф.: Как вы можете охарактеризовать сильный ИИ?

Дж. Х.: Если вы говорите об универсальных роботах, таких как лейтенант-коммандер Дейта, то вряд ли мы будем развивать ИИ в эту сторону. Кроме того, до создания интеллекта такого уровня еще далеко.

М. Ф.: Возможна ли система, которая сможет пройти тест Тьюринга, длящийся пару часов?

Дж. Х.: Вероятность появления чего-то подобного лет через десять достаточно велика. И возможно, мы до этого не доживем, так как человечество будет уничтожено другими вещами.

М. Ф.: Вы сейчас говорите о таких опасностях, как атомная война или чума?

Дж. Х.: Да, я считаю, что эти вещи угрожают существованию человечества намного сильнее, чем ИИ. Только представьте, что началась мировая война или недовольный аспирант в лаборатории молекулярной биологии создал чрезвычайно заразный смертельный вирус с длительным инкубационным периодом. Я думаю, что беспокоить должно именно это, а не сверхинтеллектуальные системы.

М. Ф.: Но, например, Демис Хассабис из компании DeepMind верит в возможность создания систем, которые вы считаете неосуществимыми.

Дж. Х.: У нас с Демисом разные взгляды на то, каким может быть будущее.

М. Ф.: Я бы все-таки хотел поговорить о связанных с ИИ опасностях. Например, о потенциальном влиянии на рынок труда и экономику. Нужно ли волноваться о наступлении новой промышленной революции?

Дж. Х.: Значительное повышение производительности – это прекрасно. Но его влияние на жизнь людей зависит от социальной системы. Почему проблемой считается именно технический прогресс? Проблема в том, сможем ли мы справедливо распределить блага.

М. Ф.: Но ведь проблема в данном случае связана с исчезновением рабочих мест по причине автоматизации. Может ли ее решить такая вещь, как базовый доход?

Дж. Х.: Да, эта идея кажется мне разумной.

М. Ф.: Но нужны ли для этого политические решения? Некоторые говорят, что можно пустить процесс на самотек и время само расставит все по местам.

Дж. Х.: Я переехал в Канаду, потому что здесь выше ставка налогообложения. С моей точки зрения справедливые налоги – это правильно. Правительство должно помогать всем, в то время как люди имеют право действовать исключительно в собственных интересах. Высокие налоги – один из механизмов, позволяющий реализовывать такую помощь. Кто-то богатеет, а остальные получают пособие из уплаченных им налогов. Но чтобы ИИ приносил пользу всем, предстоит проделать большую работу.

М. Ф.: А что вы скажете о применении ИИ в военных целях?

Дж. Х.: Я думаю, пришло время активности. Нужно сделать так, чтобы международное сообщество относилось к автономному оружию так же, как к химической войне и оружию массового уничтожения.

М. Ф.: Нужен ли мораторий на исследования и разработку оружия с ИИ?

Дж. Х.: Вы не получите моратория на исследования такого типа, точно так же как не было моратория на разработку нервно-паралитических отравляющих веществ. Правда, есть международные механизмы, которые помешали их широкому использованию.

М. Ф.: А что вы думаете о проблемах, связанных с приватностью и прозрачностью?

Дж. Х.: Манипуляция избирателями ради победы на выборах не может не вызывать беспокойства. Создатель компании Cambridge Analytica Боб Мерсер занимался машинным обучением. Компания уже принесла вред, об этом нельзя забывать.

М. Ф.: Тут требуется регулирование?

Дж. Х.: Да, и очень строгое. Это вообще крайне важная тема, но я не эксперт в этих вопросах.

М. Ф.: А глобальная гонка вооружений? Важно ли, чтобы ни одна из стран не вырывалась вперед?

Дж. Х.: Долгое время на мировой арене доминировала Великобритания, которая вела себя не очень гуманно. Потом вперед вышла Америка, которая тоже вела себя примерно так же. Сейчас лидерство может захватить Китай, и вряд ли стоит ожидать от них человеколюбия.

М. Ф.: Нужно ли западным правительствам сделать разработки ИИ национальным приоритетом?

Дж. Х.: Технологии развиваются быстро, и глупо не пытаться идти в ногу со временем. Поэтому вкладывать в ИИ большие средства нужно и важно. Это обыкновенный здравый смысл.

М. Ф.: То есть вы оптимистично смотрите в будущее и считаете, что выгоды от ИИ перевесят потенциальные риски?

Дж. Х.: Я даже не знаю, есть ли вообще какие-то риски. Пока что перед нами стоят проблемы, связанные с социальными системами, а не с технологиями.

М. Ф.: Сейчас в сфере ИИ дефицит кадров, поэтому там рады любым специалистам. Какой совет вы можете дать студентам, которые хотят делать карьеру в этой области?

Дж. Х.: Меня беспокоит нехватка людей, которые критически относятся к основам. Идея капсул была призвана показать, что, возможно, часть общепринятых способов не дает нужных результатов и нужно мыслить шире. Поэтому тем, кто чувствует, что какие-то вещи делаются неправильно, я советую следовать своей интуиции. Студентов и аспирантов я считаю наиболее плодотворным источником новых идей. Они свободно выдвигают действительно новаторские предложения и все время учатся. Те, кто пришел в отрасль, уже получив степень магистра, как правило, не собираются ничего предлагать.

М. Ф.: Создается впечатление, что основные исследования глубокого обучения производятся в Канаде. Это случайность или этому способствуют какие-то факторы?

Дж. Х.: Большая удача, что в Канаде работают Ян Лекун и Иошуа Бенджио. Мы плодотворно сотрудничаем, при поддержке CIFAR, который финансирует фундаментальные исследования, невзирая на высокие риски.

М. Ф.: То есть глубокому обучению удалось остаться на плаву благодаря стратегическим инвестициям канадского правительства?

Дж. Х.: Да. По сути, канадское правительство вкладывает в глубокое обучение по полмиллиона долларов в год, что можно считать разумной инвестицией в индустрию, которая в будущем может принести миллиарды.

М. Ф.: Общаетесь ли вы с вашим коллегой Джорданом Питерсоном? Иногда кажется, что Университет Торонто – это источник дестабилизации…

Дж. Х.: С моей точки зрения, он из тех, кто не понимает, когда лучше промолчать.

Ник Бостром

“Дело не в том, что ИИ возненавидит нас за то, что мы поработили его, и не в том, что у него внезапно возникнет искра сознания, которая заставит его взбунтоваться. Просто этот интеллект, скорее всего, будет компетентно преследовать собственные, не совпадающие с нашими цели. И мы окажемся в будущем, сформированном в соответствии с чужими критериями.

Профессор, основатель и директор FHI

Ника Бострома знают как одного из ведущих мировых экспертов в области суперинтеллекта и опасностей, которые потенциально несут человечеству ИИ и машинное обучение. Ник – автор бестселлера по версии The New York Times 2014 г. «Искусственный интеллект: этапы, угрозы, стратегии» и около 200 публикаций, в том числе Anthropic Bias («Антропный уклон», 2002 г.), Global Catastrophic Risks («Глобальные риски», 2008 г.), Human Enhancement («Усовершенствование человека», 2009 г.).

Учился в Гетеборгском и Стокгольмском университетах, а также в Королевском колледже Лондона. Степень доктора философии получил в Лондонской школе экономики.

Имеет опыт работы в области физики, ИИ, математической логики и философии. Стал лауреатом премии Eugene R. Gannon Award, которая каждый год вручается одному ученому в мире за достижения в области философии, математики и естественных наук. Его имя находится в списках 100 лучших мыслителей внешней политики и мировых мыслителей журнала Prospect. Самый молодой человек в топ-15 из всех областей и самый высокопоставленный аналитический философ. Его произведения переведены на 24 языка. Сделано более 100 переводов и переизданий его работ.

Мартин Форд: Вы писали об опасностях, связанных с суперинтеллектом – системой, которая может появиться, если сильный ИИ направит свою энергию на самосовершенствование.

Ник Бостром: Да, я описал один из сценариев и связанную с ним проблему, но наступление эры машинного интеллекта может пройти и по другим сценариям, с которыми связаны совсем другие проблемы.

М. Ф.: Вы заострили внимание на проблеме контроля, или выравнивания, то есть на ситуации, когда цели машинного интеллекта могут негативно повлиять на человечество. Расскажите об этом более подробно.

Н. Б.: Что ж, проблема очень продвинутых систем ИИ, которая отличается от других технологий, заключается в том, что не только люди могут злоупотреблять этой технологией. Технология может злоупотреблять собой сама. Другими словами, вы создаете искусственного агента или процесс, который имеет свои собственные цели и задачи, и этот агент имеет все возможности достичь этих целей, потому что в этом сценарии он является сверхразумным. Цели, которые эта мощная система пытается оптимизировать, отличаются от наших человеческих ценностей и, возможно, даже не соответствуют целям, которых мы хотим достичь в мире. Когда у вас есть люди, пытающиеся достичь чего-то одного, и суперинтеллектуальная система, пытающаяся достичь чего-то другого, вполне возможно, что суперинтеллект будет побеждать и добиваться своего.

Дело не в том, что ИИ возненавидит нас за то, что мы поработили его, и не в том, что у него внезапно возникнет искра сознания, которая заставит его взбунтоваться. Просто этот интеллект, скорее всего, будет компетентно преследовать собственные, не совпадающие с нашими цели. И мы окажемся в будущем, сформированном в соответствии с чужими критериями. Соответственно, чтобы решить проблему контроля, или выравнивания, нужно найти способы проектировать системы ИИ как продолжения человеческой воли. Чтобы поведение этих систем формировалось человеческими намерениями, а не какими-то случайными результатами внутри самих систем.

М. Ф.: В своих интервью вы приводили в пример систему, производящую скрепки, которая достигает поставленной перед ней цели с помощью сверхинтеллектуальных способностей, но в конечном итоге превращает в скрепки всю Вселенную, так как лишена здравого смысла. Это иллюстрация проблемы выравнивания?

Н. Б.: Пример скрепки иллюстрирует широкую категорию возможных сбоев, когда вы просите систему сделать что-то одно, и, возможно, вначале все получается довольно хорошо, но затем она приходит к выводу, который находится вне нашего контроля. Пример, в котором вы разрабатываете ИИ для управления фабрикой скрепок, карикатурен, но хорошо передает суть. Сначала этот ИИ глуп, но чем умнее он становится, тем лучше работает. Владелец фабрики очень доволен и хочет добиться большего прогресса. Однако когда ИИ становится достаточно умным, он осознает, что существуют другие способы создания еще большего количества скрепок в мире, например, он может забрать контроль у людей и превратить всю планету в скрепки или космические зонды, которые превратят всю вселенную в скрепки.

Суть в том, что при постановке цели, включающей увеличение количества, нужно быть крайне осторожными в формулировках.

М. Ф.: Почему основные обсуждения посвящены способам достижения цели? Я не слышал примера, в котором система просто поменяла бы свою цель. Люди поступают так сплошь и рядом!

Н. Б.: Хотя суперинтеллект обладает способностью менять свои цели, следует учитывать, что он делает выбор между новыми и текущими целями. В большинстве ситуаций перемена цели кажется ИИ плохим стратегическим шагом – он понимает, что в результате не окажется агента, преследующего его текущую цель, и отдает ей приоритет. Такая достаточно сложная система рассуждений позволяет достичь стабильности внутренней цели.

Мы, люди, противоречивы по своей природе. Кажется, что иногда мы решаем изменить наши цели. Но о решении на самом деле речи не идет – цели меняются иначе. Более того, под целями люди подразумевают не фундаментальные критерии оценки вещей, а желание достичь какого-то результата, которое может пройти при изменении обстоятельств.

М. Ф.: Но ведь многие исследования в области ИИ базируются на нейробиологии, а в машинный интеллект мы внедряем свои, человеческие идеи. Представьте систему, имеющую в распоряжении все человеческие знания. В мозге человека могут возникать разные патологии, существуют даже препараты, влияющие на работу мозга. Откуда мы знаем, что у машин не может быть ничего похожего?

Н. Б.: Я допускаю подобную возможность, особенно на ранних этапах разработки ИИ, когда машина еще не поняла, как менять себя, не нанося при этом себе вреда. Нужно разработать технологию, позволяющую предотвращать изменения в целеполагании. Я ожидаю, что достаточно развитая система сможет разработать технологию для обеспечения собственной целостности и даже сделать этот подход приоритетным. Но пока система недостаточно развита, существует вероятность ее самоповреждения.

М. Ф.: Когда речь заходит о машинах, делающих не то, что мы хотим, меня смущает слово «мы». Ведь не существует универсального набора человеческих желаний и ценностей.

Н. Б.: Большие задачи принято решать, разбивая их на более мелкие. Ставя вопрос, как добиться согласованности ИИ с любыми человеческими ценностями, чтобы заставить его действовать в соответствии с пожеланиями разработчиков, вы выделяете одну подзадачу. Без ее решения нет смысла разбирать политические проблемы. Надо сначала заняться технологией, а потом уже спорить о ее применении.

М. Ф.: Я правильно понимаю, что сейчас в FHI и в других исследовательских компаниях, таких как OpenAI, решается проблема технического контроля, то есть ищется ответ на вопрос, как построить машину, работающую в строгом соответствии с поставленной целью.

Н. Б.: Именно так. У нас над этим работает отдельная команда. Есть и команда, которая занимается проблемами управления, связанными с достижениями в области ИИ.

М. Ф.: Хватит ли у вас ресурсов для управления ИИ или нужна поддержка правительства?

Н. Б.: Мне бы хотелось, чтобы больше ресурсов выделялось на решение вопросов безопасности ИИ. Этим занимаемся не только мы, например, в компании DeepMind есть отдельная группа. Вообще количество талантов и денег в сфере ИИ растет, хотя в абсолютном выражении эта область все еще очень неразвита.

М. Ф.: Нужно ли к проблемам, которые порождает суперинтеллект, привлекать внимание общества?

Н. Б.: Пока в этом нет смысла, потому что не совсем ясно, какая именно помощь будет полезной в данный момент. Сейчас я не вижу необходимости в каких-либо правилах, касающихся машинного суперинтеллекта. Регулирование понадобится для приложений на базе ИИ, которые появятся в ближайшем будущем. Мне кажется, суперинтеллект не входит в компетенцию политиков, так как их в основном заботит то, что может произойти во время их пребывания в должности.

М. Ф.: Могут ли усугубить ситуацию выступления Илона Маска, который утверждает, что суперинтеллект опаснее, чем Северная Корея?

Н. Б.: Преждевременные выступления такого рода могут привести к тому, что голоса выступающих за осторожность и глобальное сотрудничество отойдут на второй план. И это действительно может ухудшить ситуацию. Мне кажется, обращать внимание правительства на проблемы суперинтеллекта нужно тогда, когда возникнет необходимость. Но до этого еще предстоит проделать огромную работу.

М. Ф.: Как развивалась ваша карьера в сфере ИИ?

Н. Б.: Тема ИИ интересовала меня, сколько я себя помню. В университете я изучал ИИ, а затем вычислительную нейробиологию и теоретическую физику. Во-первых, я считал, что технология ИИ в конечном итоге изменит мир, а во-вторых, я хотел понять, каким образом возникает мышление.

Первые работы на тему суперинтеллекта я опубликовал в середине 1990-х гг. А в 2006 г. появилась возможность открыть FHI в Оксфордском университете и исследовать влияние новых технологий на наше будущее. Особое внимание мы уделяем машинному интеллекту. В 2014 г. по результатам работы появилась книга «Искусственный интеллект: этапы, угрозы, стратегии». В настоящее время в институте две рабочие группы. Одна фокусируется на решении проблемы выравнивания, разрабатывая алгоритмы для масштабируемых методов управления. Вторая занимается вопросами управления, политики, этики и социальных последствий, которые несут в себе достижения в области машинного интеллекта.

М. Ф.: При этом в своей работе вы рассматриваете опасности, связанные не только с ИИ?

Н. Б.: Да. А также мы исследуем открывающиеся возможности и технологические преимущества.

М. Ф.: Какие еще опасности вы рассматриваете и почему концентрируетесь на машинном интеллекте?

Н. Б.: В FHI мы изучаем масштабные вопросы, касающиеся судьбы разумной жизни на Земле. Мы рассматриваем экзистенциальные угрозы и то, что может навсегда сформировать наше развитие в будущем. Технологии я считаю наиболее вероятным источником таких фундаментальных преобразований. Разумеется, далеко не со всеми технологиями связаны экзистенциальные опасности и возможности, как с ИИ. Мы изучаем опасности от биотехнологий. Эти исследования необходимо объединить в макростратегию.

Почему мы выделяем ИИ? С моей точки зрения, если ИИ успешно достигнет первоначальной цели, которая сводится не только к автоматизации конкретных задач, но и к копированию универсальной способности к обучению и планированию, это станет последним изобретением, которое сделают люди. Сильно изменятся все технологические и прочие области, в которых полезен человеческий интеллект.

М. Ф.: Входит ли в ваш список экзистенциальных опасностей изменение климата?

Н. Б.: Нет, потому что мы предпочитаем сосредоточиться на областях, в которых могут иметь значение наши усилия. А проблемами, вызванными изменением климата, сейчас занимается множество специалистов. Кроме того, мне трудно представить, что увеличение температуры на несколько градусов может привести к исчезновению человеческого рода. Поэтому влияние климата мы рассматриваем только в рамках общей картины проблем, с которыми может столкнуться человечество.

М. Ф.: Итак, с вашей точки зрения, опасности, связанные с сильным ИИ, выше связанных с изменением климата. Получается, что ресурсы и инвестиции распределяются неоптимальным образом.

Н. Б.: Я действительно думаю, что ресурсы распределяются не совсем правильно, причем не только между этими двумя областями. Мне в принципе кажется, что мы не очень мудро распределяем внимание.

Если оглянуться назад, мы увидим, что в любой момент времени существовала какая-то глобальная проблема, которой были озабочены все образованные люди, а потом все менялось. Сто лет назад все были озабочены проблемой вырождения, и все говорили об ухудшении человеческой породы. Во время холодной войны на первый план вышел ядерный армагеддон, а затем зашла речь о перенаселении. Сейчас все обеспокоены глобальным потеплением, хотя последние пару лет все больше начинают говорить об опасностях, которые несет ИИ.

М. Ф.: Это может быть связано с выступлениями таких людей, как Илон Маск?

Н. Б.: Пока я вижу в этом положительную сторону. Когда я писал книгу, оказалось, что тема ИИ мало кого интересует. Даже среди специалистов в этой сфере немногие думали о том, что может произойти, если появится ИИ. Серьезно говорить на эту тему было невозможно.

А вследствие того, что к этой теме было привлечено внимание, теперь можно проводить исследования и публиковать статьи по таким вопросам, как проблема выравнивания. Не думаю, что столько талантливых людей пришло бы в эту область, не начнись громкое обсуждение. Теперь же задача состоит в том, чтобы направить появившуюся озабоченность и интерес в конструктивное русло и продолжить работу.

М. Ф.: Верно ли я понимаю, что вас беспокоят опасности, связанные с появлением сильного ИИ? Обычный же ИИ, несмотря на свою значительность, не угрожает существованию людей.

Н. Б.: Именно так. Разумеется, нас интересуют и приложения на базе ИИ, которые могут появиться в ближайшем будущем. Мне кажется, проблема возникает, когда начинают путать краткосрочный и долгосрочный контексты.

М. Ф.: А о чем нужно беспокоиться в ближайшие пять лет?

Н. Б.: На мой взгляд, выгоды от вещей, которые появятся в ближайшее время, перевешивают недостатки. Достаточно посмотреть на экономику и на все те области, где могут пригодиться более умные алгоритмы. Даже простой алгоритм прогнозирования кривых спроса, работающий в фоновом режиме в большом логистическом центре, позволит сократить запасы товаров и снизить цены.

Нейронные сети могут распознавать опухоли на рентгеновских снимках и помогать в постановке диагнозов. Работая в фоновом режиме, они позволят оптимизировать обслуживание пациентов. Предприниматели найдут массу возможностей. А с научной точки зрения интересно хоть немного понять, как работает интеллект и каким образом осуществляется восприятие.

М. Ф.: Многих беспокоит такая вещь, как оружие, самостоятельно выбирающее цель. Поддерживаете ли вы запрет на оружие такого типа?

Н. Б.: Хотелось бы, чтобы мир смог избежать новой гонки вооружений с тратой огромных сумм на совершенствование роботов-убийц. Вообще говоря, я бы предпочел, чтобы машинный интеллект использовался исключительно в мирных целях. Но если смотреть более масштабно, сложно понять, что именно нужно запрещать.

Есть мнение, что следует запретить автономные дроны, самостоятельно выбирающие цель. Но в качестве альтернативы у нас есть девятнадцатилетний парень, которому поручено нажимать кнопку, когда на экране появляется надпись «Огонь». Я не понимаю, чем это отличается от полностью автономной системы. Куда важнее, чтобы был человек, который будет отвечать за случившееся, если что-то пойдет не так.

М. Ф.: Но можно представить ситуации, в которых автономная машина предпочтительнее. Например, в США отмечались случаи расизма со стороны полицейских. В правильно спроектированной роботизированной системе предвзятость можно исключить. Кроме того, робота-полицейского можно запрограммировать так, чтобы он начинал стрелять только после того, как в него попадет пуля.

Н. Б.: Мне бы хотелось, чтобы люди вообще перестали воевать. Но раз войны неизбежны, наверное, лучше, когда машины убивают другие машины. Если речь идет об ударах по конкретным целям, важна возможность наносить точные удары, позволяющие избежать сопутствующего ущерба. Вот почему я говорю, что, если принять во внимание специфику, общие расчеты сильно усложняются, и непонятно, как должно выглядеть соглашение в отношении автономного оружия.

Этические вопросы возникают и в других областях применения, таких как наблюдение, управление потоками данных, маркетинг и реклама. Все это в долгосрочной перспективе тоже может повлиять на человеческую цивилизацию.

М. Ф.: То есть нужны законы, регулирующие применение этих технологий?

Н. Б.: Без регулирования действительно не обойтись. Вы же не хотите, чтобы с дрона, оснащенного программой распознавания лиц, можно было с большой дистанции убить человека. Точно так же вы не хотите, чтобы дроны, летающие через аэропорт, задерживали самолеты. Я уверен, что по мере увеличения количества беспилотников потребуется военизированная структура для их контроля.

М. Ф.: С момента публикации вашей книги прошло около пяти лет. Ваши ожидания оправдались?

Н. Б.: Развитие происходит быстрее, чем я предсказывал.

М. Ф.: В книге вы писали, что компьютер победит чемпиона мира по игре го где-то через десять лет, примерно в 2024 г. Но это случилось через два года.

Н. Б.: Я писал, исходя из предположения, что развитие будет иметь стабильную скорость. Но прогресс пошел намного быстрее, отчасти благодаря особым усилиям, которые фирма DeepMind приложила к решению этой конкретной задачи. Были привлечены хорошие специалисты и выделены вычислительные мощности. В результате нам продемонстрировали впечатляющие возможности систем глубокого обучения.

М. Ф.: А какие препятствия стоят на пути к сильному ИИ?

Н. Б.: Сильный ИИ требует более совершенных методов обучения без учителя. Ведь только небольшая часть знаний и навыков взрослого человека формируется при помощи явных инструкций. В основном же мы просто наблюдаем за происходящим вокруг, используя для улучшения модели мира сенсорный канал. В детстве мы много пробуем и ошибаемся – и таким способом учимся.

Для высокоэффективных интеллектуальных систем нужны алгоритмы, умеющие использовать немаркированные данные. Большую часть своих знаний о мире люди склонны систематизировать в виде причинно-следственных связей, а в современных нейронных сетях этого практически нет. В основном достигается нахождение статистических закономерностей в сложных моделях, а не превращение этих моделей в объекты, влияющие друг на друга.

Кроме того, нужен прогресс в планировании и ряде других областей. Доступные методы не очень хорошо справляются с существующими задачами на пути к пониманию человеческого интеллекта.

М. Ф.: Одна из немногих компаний, специализирующихся на разработке сильного ИИ, – это DeepMind. Есть ли другие игроки, которые, на ваш взгляд, могут с ней конкурировать?

Н. Б.: Безусловно, компания DeepMind – один из лидеров, но в рамках проекта Google Brain тоже работает исследовательская группа мирового класса. Собственные ИИ-лаборатории есть и у таких крупных технологических компаний, как Facebook, Baidu и Microsoft.

Занимаются этим и в академических кругах. Университеты в Монреале и Торонто одни из лучших в мире в сфере глубокого обучения. Много специалистов работает в таких университетах, как Беркли, Оксфорд, Стэнфорд и Карнеги – Меллона. Западными странами дело не ограничивается. Китай также вкладывает значительные средства в наращивание внутреннего потенциала.

М. Ф.: Но они не специализируются конкретно на сильном ИИ.

Н. Б.: Четкую границу в данном случае провести сложно. Но если брать группы, занятые именно разработкой сильного ИИ, то кроме DeepMind можно упомянуть OpenAI.

М. Ф.: Тест Тьюринга – это единственный способ определить, получилось ли создать сильный ИИ?

Н. Б.: Полномасштабная версия теста вполне подходит для подтверждения завершенности ИИ-полной задачи. Если же хочется оценить скорость движения к цели и понять, в каком направлении работать дальше, тест Тьюринга не поможет.

М. Ф.: Потому что становится субъективным?

Н. Б.: Да. Конечно, тест можно применить корректно даже в таких вопросах, но это слишком сложно, и мы пока не знаем, как это реализовать. Когда мы пытаемся оценить локальный прогресс системы, на результаты теста Тьюринга начинает влиять множество стандартных ответов, а также другие уловки и приемы. Этот тест не сможет показать, продвинулись ли ваши разработки в сторону сильного ИИ. Для этого нужны другие критерии, которые будут учитывать движение в нужную сторону.

М. Ф.: У интеллектуальной системы может автоматически появиться сознание?

Н. Б.: Что вы подразумеваете под сознанием? Например, этим термином называют функциональную форму самоощущения, то есть возможность смоделировать себя в мире и оценить влияние окружающей среды и времени.

Еще под сознанием подразумевают результат накопления эмпирического опыта, который, как принято считать, имеет значение для морали. Например, аморально причинять страдания живым существам, причем страдание – это субъективное чувство. Неизвестно, возникнет ли такой феноменальный опыт автоматически как следствие повышения эффективности системы. Можно даже создать механические системы, лишенные сенсорных, чувственных явлений любого рода, то есть того, что философы называют термином «квалиа». Мы не знаем, какие вещи необходимы и достаточны для морально значимых форм сознания, поэтому нужно принять как аксиому, что машинный интеллект может получить сознание задолго до достижения им человеческого уровня.

Считается, что соответствующий опыт есть не только у людей. Поэтому существуют протоколы и руководства для медицинских опытов с мышами. Нужно помнить, что машина может достигнуть уровня сознания, обеспечивающего некий моральный статус, что ограничит наши действия по отношению к ней.

М. Ф.: То есть рискуют в данном случае обе стороны? Нас беспокоит вред, который может причинить ИИ, но при этом мы сами можем поработить сущность, обладающую сознанием, или заставить ее страдать. Мне кажется, узнать, обладает ли машина сознанием, невозможно. Я считаю, что у вас есть сознание, потому что вы одного со мной вида, а в наличии у себя сознания я уверен. Но у меня нет такой же связи с машиной.

Н. Б.: Да, это действительно крайне сложный вопрос. Ведь даже принадлежность к человеческому виду не говорит о наличии сознания. Человек может находиться в коме, на стадии зародыша, под наркозом. При этом многие уверены в наличии сознательного опыта у определенных животных. То есть мы проецируем идею сознания за пределы нашего собственного вида, но мне кажется, что на цифровой интеллект, если таковой появится, эти представления, как и моральные нормы, вряд ли распространятся.

Даже с животными мы обращаемся плохо. Особенно это касается производства мяса, а ведь животные могут выражать эмоции и кричать! Кто заставит людей осознать, что внутри микропроцессора, где происходят невидимые реакции, может быть разум, с которым нужно считаться? Особенно на фоне таких проблем, как алгоритмическая дискриминация или дроны-убийцы. Поэтому первым делом нужно сделать так, чтобы эта тема перестала относиться к абстракциям, о которых разговаривают только профессиональные философы.

М. Ф.: А как с вашей точки зрения ИИ может повлиять на рынок труда и экономику?

Н. Б.: В ближайшей перспективе сильных воздействий на рынок труда не предвидится, так как для масштабного развертывания автоматизированных систем требуется время. Но постепенно достижения в области машинного обучения начнут все сильнее влиять на эту сферу, ведь ИИ способен взять на себя практически все задачи. В некоторых отношениях конечная цель состоит в освобождении людей от необходимости работать. Ведь мы развиваем технологии и внедряем автоматизацию, чтобы получать определенный результат с меньшими усилиями.

М. Ф.: Но это же утопия. Как я понимаю, вы поддерживаете идею базового дохода, который гарантирует всем и каждому возможность пользоваться плодами прогресса?

Н. Б.: Да, со временем желательно прийти к чему-нибудь в этом роде. Если действительно получится создать ИИ, и мы решим проблему технического контроля, произойдет взрывной экономический рост. Этого хватит, чтобы обеспечить всем достойную жизнь. Развивая суперинтеллект, мы все рискуем, нравится нам это или нет. Поэтому, если дела пойдут хорошо, каждый должен получить некоторую выгоду.

Я думаю, что именно так должен использоваться машинный суперинтеллект. Если все получится, выигрыш будет настолько большим, что мы просто обязаны гарантировать всем фантастическое качество жизни: не только экономическую выгоду (в форме универсального базового дохода или по какой-то другой схеме), но совершенные технологии, лучшее здравоохранение и т. п.

М. Ф.: А если сильный ИИ первым создаст Китай? Имеют ли значение культурные ценности страны, в которой развивается технология?

Н. Б.: Я думаю, не очень важно, в какой культуре сильный ИИ появится первым. Куда важнее вопрос, насколько компетентны люди или группы, которые его развивают, и имеют ли они возможность быть осторожными. Это проблема любой гонки. Стремясь к результату, люди пренебрегают правилами безопасности. И побеждает тот, кто тратит на безопасность меньше всего усилий.

Хотелось бы, чтобы тот, кто первым разработает суперинтеллект, имел возможность в конце сделать паузу месяцев на шесть, а лучше на пару лет, чтобы перепроверить свои системы и установить любые дополнительные средства защиты, которые сможет придумать. И только после этого медленно и осторожно стал расширять возможности системы до сверхчеловеческого уровня. Поэтому важно максимально смягчать конкуренцию.

М. Ф.: Если интеллект сможет рекурсивно улучшать сам себя, первопроходец получает огромное преимущество. Соответственно, существует огромный стимул именно для гонки.

Н. Б.: Да, это так. Но я думаю, что тема гарантированного достижения глобального блага может снизить интенсивность гонки. Нужно, чтобы все участники осознавали, что проигравших не будет.

М. Ф.: Это потребует международного сотрудничества, в котором человечество пока не очень преуспело. Если сравнить с запретом на химическое оружие и с актом о нераспространении ядерного оружия, получится, что в случае с ИИ проверить соблюдение соглашения будет еще сложнее.

Н. Б.: В чем-то это окажется сложнее, в чем-то проще. Люди играют в эти игры из-за ограниченных ресурсов. У кого-то ресурсы есть, а у кого-то еще нет. ИИ может привести к изобилию во многих отношениях, что позволит облегчить установление договоренностей.

М. Ф.: Думаете, мы решим эти проблемы?

Н. Б.: Внутри у меня надежда и страх. Но хотелось бы подчеркнуть именно положительные стороны, как в краткосрочной, так и в долгосрочной перспективе. Из-за моей работы и книги меня всегда спрашивают о рисках и недостатках технологии, но я надеюсь, что она сможет стать благом для всего мира.

Ян Лекун

“Человек может научиться водить автомобиль за 15 часов тренировок, ни во что не врезавшись. Если использовать существующие методы обучения с подкреплением, машине, чтобы научиться ездить без водителя, придется 10 тысяч раз упасть с обрыва, прежде чем она поймет, как этого избежать".

Вице-президент и основатель лаборатории исследования ИИ в FACEBOOK (FAIR), профессор computer science в Нью-йоркском Университете

Вместе с Джеффри Хинтоном и Иошуа Бенджио Ян Лекун входит в группу исследователей, усилия и настойчивость которых привели к нынешней революции в отношении к нейронным сетям и глубокому обучению. Работая в Лабораториях Белла, он изобрел сверточные нейронные сети. Диплом инженера-электрика получил в Париже в ESIEE, а докторскую степень в области computer science – в Университете Пьера и Марии Кюри. После аспирантуры работал в Лаборатории Джеффри Хинтона в Университете Торонто.

Мартин Форд: Взрыв интереса к глубокому обучению последние 10 лет – это следствие одновременного совершенствования нейронных сетей, увеличения мощности компьютеров и количества доступных данных?

Ян Лекун: Да, но процесс был более обдуманным. Появившийся в 1986–87 гг. алгоритм обратного распространения дал возможность обучать многослойные нейронные сети. Это вызвало волну интереса, которая продержалась вплоть до 1995 г. В 2003 г. Джеффри Хинтон, Иошуа Бенджио и я придумали план, как возобновить интерес сообщества к этим методам, потому что были уверены в их неминуемой победе. Так что можно сказать, что имел место умышленный сговор.

М. Ф.: Вы уже тогда понимали все перспективы? Сейчас ИИ и глубокое обучение считают синонимами.

Я. Л.: И да, и нет. Мы знали, что методы лягут в основу компьютерного зрения, распознавания речи и, возможно, пары других вещей, но никто не ожидал, что они распространятся на понимание естественного языка, робототехнику, анализ медицинской визуализации и даже поспособствуют появлению беспилотных автомобилей. В начале 1990-х гг. я думал, что движение к этим вещам будет более плавным, а появятся они немного раньше. Нас же ждала революция, случившаяся примерно в 2013 г.

М. Ф.: А как возник ваш интерес к ИИ и машинному обучению?

Я. Л.: Я с детства интересовался наукой, техникой и глобальными вопросами о зарождении жизни, интеллекта, происхождении человечества. Идея ИИ привела меня в восторг. Но в 1960–70 х гг. во Франции этим никто не занимался, поэтому после школы я пошел учиться на инженера.

В 1980 г. мне очень понравилась книга по философии Language and Learning: The Debate Between Jean Piaget and Noam Chomsky («Язык и обучение: дискуссия между Жаном Пиаже и Ноамом Хомским»), в которой создатель теории когнитивного развития и лингвист обсуждали природу и воспитание, а также зарождение языка и интеллекта.

На стороне Пиаже выступал профессор MIT Сеймур Пейперт, который стоял у истоков машинного обучения и в конце 1960-х гг. фактически способствовал прекращению работ с нейронными сетями. И вот спустя 10 лет он превозносил так называемый персептрон – очень простую модель машинного обучения, которая появилась в 1950-х гг. и над которой он работал в 1960-х гг. Так я впервые познакомился с концепцией обучения машин и был ею абсолютно очарован. Способность к обучению я считал неотъемлемой частью интеллекта.

Студентом я прочитал по машинному обучению все, что удалось найти, и сделал несколько проектов по этой теме. Оказалось, на Западе никто не работает с нейронными сетями. Над тем, что позже стало называться этим термином, трудились несколько японских исследователей. У нас же эта тема никого не интересовала, отчасти из-за вышедшей в конце 1960-х гг. книги Пейперта и Минского.

Я начал самостоятельные исследования и в 1987 г. защитил докторскую диссертацию Modeles connexionnistes de l'apprentissage («Коннекционистские модели обучения»). Мой руководитель Морис Милгрэм этой темой не занимался и прямо сказал мне, что может официально стать моим консультантом, но ничем не сможет помочь технически.

В начале 1980-х гг. я обнаружил сообщество людей, которые работали над нейронными сетями, и связался с ними. В итоге параллельно Дэвиду Румельхарту и Джеффри Хинтону я открыл такую вещь, как метод обратного распространения ошибки.

М. Ф.: То есть в начале 1980-х гг. в Канаде велись многочисленные исследования в этой области?

Я. Л.: Нет, все происходило в США. В Канаде такие исследования тогда еще не велись. В начале 1980-х гг. Джеффри Хинтон был сотрудником Калифорнийского университета в Сан-Диего, где работал с такими специалистами по когнитивной психологии, как Дэвид Румельхарт и Джеймс Макклелланд. В результате появилась книга, объясняющая психологию при помощи простых нейронных сетей и компьютерных моделей. Затем Джеффри стал доцентом в Университете Карнеги – Меллона. В Торонто он переехал только в 1987 г. Тогда же в Торонто перебрался и я, и в течение года работал в его лаборатории.

М. Ф.: В начале 1980-х гг. я был студентом, изучавшим вычислительную технику, и не помню, чтобы где-то применялись нейронные сети. Сейчас ситуация резко изменилась.

Я. Л.: Нейронные сети не просто оказались на обочине науки. В 1970-х гг. и начале 1980-х гг. их фактически предали анафеме. Статьи отклонялись за одно упоминание нейронных сетей.

Известна статья Optimal Perceptual Inference («Оптимальный персептивный вывод»), которую в 1983 г. опубликовали Джеффри Хинтон и Терри Сейновски. Чтобы описать в ней одну из первых моделей глубокого обучения и нейронной сети, они использовали кодовые слова, даже в названии.

М. Ф.: Вы известны как автор сверточной нейронной сети. Объясните, пожалуйста, что это такое?

Я. Л.: Изначально эта нейронная сеть была оптимизирована под распознавание объектов на изображениях. Но оказалось, что ее можно применить к широкому кругу задач, например распознаванию речи и машинному переводу. Идеей для ее создания послужили особенности зрительной коры мозга животных и людей, изученные в 1950–60-х гг. Дэвидом Хьюбелом и Торстеном Визелом, позднее получившими Нобелевскую премию в области нейробиологии.

Сверточная сеть – это особый способ соединения нейронов, которые не являются точной копией биологических нейронов. В первом слое – слое свертки – каждый нейрон связан с небольшим количеством пикселов изображения и вычисляет взвешенную сумму своих входных данных. В процессе обучения веса меняются. Группы нейронов видят небольшие участки изображения. Если нейрон обнаруживает определенный признак на одном участке, другой нейрон обнаружит точно такой же признак на соседнем участке, а все остальные нейроны – в остальных участках изображения. Математическая операция, которую нейроны выполняют вместе, называется дискретной сверткой. Отсюда название.

Затем идет нелинейный слой, где каждый нейрон включается или выключается, в зависимости от того, выше или ниже заданного порога оказалась вычисляемая слоем свертки взвешенная сумма. Наконец, третий слой выполняет операцию субдискретизации, чтобы убедиться, что небольшое смещение или деформация входного изображения не сильно меняет результат на выходе. Это обеспечивает независимость от деформаций входного изображения.

По сути, сверточная сеть – это стек, организованный из слоев свертки, нелинейности и субдискретизации. Когда они сложены, появляются нейроны, распознающие объекты. Например, нейрон, который включается при нахождении лошади на изображении, другой нейрон – для автомобилей, третий – для людей и так далее, для всех нужных вам категорий.

При этом то, что делает нейронная сеть, определяется силой связей между нейронами, то есть весами. И эти веса не запрограммированы, а являются результатом обучения.

Сети показывается изображение лошади, и, если она не отвечает «лошадь», ее информируют, что это неправильно, и подсказывают правильный ответ. После этого с помощью алгоритма обратного распространения ошибки сеть корректирует веса всех соединений, чтобы в следующий раз при демонстрации такого же изображения результат был ближе к нужному. При этом приходится демонстрировать ей тысячи изображений.

М. Ф.: Это обучение с учителем? Как я понимаю, сейчас это доминирующий подход.

Я. Л.: Именно так. Почти все современные приложения глубокого обучения используют обучение с учителем. Магия в том, что обученная сеть по большей части дает правильные ответы даже для изображений, которых ей раньше не показывали. Но нуждается в огромном количестве примеров.

М. Ф.: А чего можно ожидать в будущем? Можно ли будет учить машину как ребенка, которому достаточно один раз показать кошку и назвать ее?

Я. Л.: На самом деле вы не совсем правы. Первые тренировки сверточной сети действительно проходят на миллионах изображений различных категорий. А потом, если нужно добавить новую категорию, например научить компьютер распознавать кошек, для этого достаточно нескольких образцов. Ведь сеть уже обучена распознавать объекты практически любого типа. Дополнения к обучению касаются пары верхних слоев.

М. Ф.: Это уже похоже на то, как учатся дети.

Я. Л.: Нет, к сожалению, это совсем не похоже. Дети получают большую часть информации до того, как кто-то скажет им: «Это кошка». В первые несколько месяцев жизни дети учатся, не имея понятия о языке. Они узнают устройство мира, просто наблюдая за миром и немного взаимодействуя с ним. Такой способ накопления знаний машинам недоступен. Как это назвать, непонятно. Некоторые используют провокационный термин «обучение без учителя». Иногда это называют предвосхищающим, или индуктивным, обучением. Я называю это самообучением. При обучении этого типа не идет речи о подготовке к выполнению какой-то задачи, это просто наблюдение за миром и тем, как он функционирует.

М. Ф.: А обучение с подкреплением в эту категорию попадает?

Я. Л.: Нет, это совсем другая категория. По сути, выделяют три основные категории: обучение с подкреплением, обучение с учителем и самообучение.

Обучение с подкреплением происходит методом проб и ошибок и хорошо работает для игр, где можно делать сколько угодно попыток. Хорошая производительность AlphaGo была достигнута после того, как машина сыграла больше игр, чем все человечество за последние три тысячи лет. К задачам из реального мира такой подход нецелесообразен.

Человек может научиться водить автомоб

© ООО Издательство "Питер", 2019

Вступление

Мартин Форд

Футуролог, эксперт в области искусственного интеллекта, консультант по расчетам индекса робототехники Rise Of The Robots В Societe Generale, предприниматель из кремниевой долины, член совета директоров и инвесторов компании Genesis Systems

Мартин Форд – автор книг «Роботы наступают: развитие технологий и будущее без работы»[1] (отмечена премией Financial Times & McKinsey Business Book of the Year, переведена более чем на 20 языков) и «Технологии, которые изменят мир»[2]. Писал о технологиях будущего для The New York Times, Fortune, Forbes, The Atlantic, The Washington Post, Harvard Business Review, The Guardian и The Financial Times. Выступал на многочисленных радио- и телешоу, в том числе на NPR, CNBC, CNN, MSNBC и PBS. Часто делает доклады о влиянии ИИ на экономику, рынок труда и общество будущего (наиболее известно выступление на конференции TED 2017 г.). Получил степень бакалавра в области вычислительной техники в Мичиганском университете в Анн-Арборе и степень магистра бизнеса в Калифорнийском университете в Лос-Анджелесе (UCLA). В компании Genesis Systems участвует в разработке автоматизированных систем с автономным питанием, генерирующих воду непосредственно из воздуха.

Искусственный интеллект (ИИ) быстро переходит из области научной фантастики в повседневную жизнь. Современные устройства понимают человеческую речь, способны отвечать на вопросы и выполнять машинный перевод. В самых разных областях, от управления беспилотным автомобилем до диагностирования рака, применяются алгоритмы распознавания объектов на базе ИИ, возможности которых превосходят человеческие. Крупные медиакомпании используют роботизированную журналистику, создающую из собранных данных статьи, подобные авторским. Очевидно, что ИИ готов стать одним из важнейших факторов, формирующих наш мир, являясь по-настоящему универсальной технологией, такой как электричество.

В последние годы в СМИ широко освещаются достижения в области ИИ. Бесчисленные статьи, книги, документальные фильмы и телепрограммы предсказывают новую эру, мешая в одну кучу анализ фактических данных с ажиотажем, спекуляциями и даже нагнетанием паники. Говорят, что через несколько лет дороги полностью захватят беспилотные автомобили, оставив без работы водителей грузовиков и такси. В некоторых алгоритмах машинного обучения обнаружили признаки дискриминации по расовому и половому признакам. Неясно, как повлияет на конфиденциальность распознавание лиц. Роботы могут стать оружием. А обладающие интеллектом машины представляют угрозу существованию человечества. Свое мнение озвучивают многие общественные деятели, которые не являются экспертами в сфере ИИ. Радикальнее всего выступил Илон Маск, заявивший, что разработки ИИ сродни призыву демонов и опаснее ядерного оружия. Даже Генри Киссинджер и Стивен Хокинг публиковали мрачные прогнозы.

Поэтому мне хотелось бы рассказать о том, что такое ИИ, и осветить связанные с ним возможности и риски. Для этого я провел серию интервью с выдающимися учеными и предпринимателями, занимающимися ИИ. Многие из них лично повлияли на трансформацию окружающего нас мира; другие – основали компании, которые расширяют границы ИИ, робототехники и машинного обучения.

Разумеется, сформированный мной список субъективен – в развитии ИИ участвует множество профессионалов. Но я уверен, что почти любой человек, обладающий глубокими знаниями в этой области, поддержит мой выбор. Всех этих людей можно без преувеличения назвать творцами ИИ, приближающими начало новой научно-технической революции.

В интервью я старался задать наиболее острые вопросы, появившиеся в процессе развития ИИ. Какие подходы и технологии считаются наиболее перспективными? Какие крупные открытия возможны в ближайшие годы? Можно ли создать по-настоящему мыслящую машину или ИИ, сравнимый с человеческим, и как скоро? Какие риски и угрозы связаны с ИИ и как их избежать? Требуется ли для этой области государственное регулирование? Вызовет ли ИИ хаос в экономике и на рынке труда? Смогут ли суперинтеллектуальные машины выйти из-под контроля человека и превратиться в реальную угрозу? Нужно ли беспокоиться о «гонке вооружений» в области ИИ?

Разумеется, предсказать будущее невозможно. Тем не менее эксперты знают о текущем состоянии технологий, а также об инновациях ближайшего будущего больше, чем кто бы то ни было. Поэтому их мысли и мнения заслуживают внимания. Помимо ИИ, мы обсудили образование, карьеру и исследовательские интересы, поэтому чтение будет увлекательным и вдохновляющим.

Искусственный интеллект – это широкая область исследований, сопряженная с множеством дополнительных дисциплин. Многие из моих собеседников совмещали работу в нескольких областях. Сейчас я кратко расскажу, как опрошенные относятся к наиболее важным инновациям в исследованиях ИИ и задачам будущего. Основная информация о каждом из них будет приведена в начале соответствующего интервью.

Подавляющее большинство достижений сферы ИИ последнего десятилетия – от распознавания лиц до машинного перевода и победы в игре го – основаны на технологии глубокого обучения, или глубоких нейронных сетей. Искусственные нейронные сети, в которых программно эмулируется структура и взаимодействие нейронов головного мозга, появились примерно в 1950-х гг. Простые версии этих сетей могли решать элементарные задачи по распознаванию объектов на изображениях, что сначала вызывало сильный энтузиазм. Однако к 1960 г., частично из-за критики Марвина Минского – одного из пионеров ИИ, – нейронные сети потеряли популярность, а им на смену пришли другие подходы.

В течение примерно 20 лет, начиная с 1980-х гг., небольшая группа исследователей продолжала верить в технологию нейронных сетей и продвигать ее. Среди них выделялись Джеффри Хинтон (Geoffrey Hinton), Иошуа Бенджио (Yoshua Bengio) и Ян Лекун (Yann LeCun). Они не только внесли вклад в лежащую в основе глубокого обучения математическую теорию, но и первыми стали продвигать технологию «глубоких» сетей с несколькими слоями искусственных нейронов. Им удалось донести идею нейронных сетей до времен экспоненциального роста вычислительных мощностей и увеличения объема доступных данных. В 2012 г. команда аспирантов Хинтона из Университета Торонто победила в конкурсе по распознаванию объектов на изображениях.

После этого события глубокое обучение стало общедоступным. Большинство крупных технологических компаний – Google, Facebook, Microsoft, Amazon, Apple, Baidu и Tencent – инвестировали огромные суммы в новую технологию, чтобы использовать ее в своем бизнесе. Разработчики микропроцессорных и графических чипов (GPU), такие как NVIDIA и Intel, переорганизовали бизнес под создание оборудования, оптимизированного для нейронных сетей. Именно глубокое обучение сегодня раскрывает сферу ИИ.

Такие ученые, как Эндрю Ын (Andrew Ng), Фей-Фей Ли (Fei-Fei Li), Джефф Дин (Jeff Dean) и Демис Хассабис (Demis Hassabis), используют современные нейронные сети в таких областях, как поисковые системы, компьютерное зрение, беспилотные автомобили и универсальный ИИ. Это признанные лидеры в области преподавания, управления и предпринимательства на базе технологии нейронных сетей.

Однако глубокое обучение подвергается критике. Ряд ученых считают его «одним из инструментов в наборе», утверждая, что для дальнейшего прогресса нужны идеи из других областей. Барбара Грош (Barbara Grosz) и Дэвид Ферруччи (David Ferrucci) занимаются проблемами понимания естественного языка. Гари Маркус (Gary Marcus) и Джош Тененбаум (Josh Tenenbaum) изучают человеческое познание. Орен Этциони (Oren Etzioni), Стюарт Рассел (Stuart Russell) и Дафна Коллер (Daphne Koller) специализируются на вероятностных методах. Джуда Перл (Judea Pearl) за работу по вероятностным (или байесовским) подходам к ИИ и машинному обучению получил премию Тьюринга.

Сфера робототехники также развивается благодаря таким ученым, как Родни Брукс (Rodney Brooks), Даниэла Рус (Daniela Rus) и Синтия Бризил (Cynthia Breazeal). Бризил вместе с Раной эль Калиуби (Rana El-Kaliouby) – первопроходцы в построении систем, умеющих распознавать эмоции, реагировать на них и вступать в социальные взаимодействия с людьми. Брайан Джонсон (Bryan Johnson) основал компанию Kernel, направляющую технологии ИИ в развитие человека.

По моему мнению, особый интерес представляют три основные темы, поэтому они будут рассматриваться в каждом интервью. Первая касается автоматизации человеческого труда, ведущей к росту безработицы. Глубже всего эту тему раскрыл Джеймс Маника (James Manyika) – глава Глобального института McKinsey (MGI), где активно исследуется влияние технологий на рынок труда.

Второй вопрос, который я задавал всем, касается ИИ, сравнимого с человеческим. Это так называемый сильный ИИ (artificial general intelligence, AGI), который был недостижимой мечтой. Демис Хассабис рассказал, что предпринимается в компании DeepMind, которая является крупнейшей и наиболее финансируемой инициативой по исследованиям сильного ИИ. Дэвид Ферруччи, руководивший разработкой суперкомпьютера IBM Watson, – генеральный директор стартапа Elemental Cognition, – описал создание сильного ИИ путем эффективного применения понимания языка. Важные идеи высказал и Рэймонд Курцвейл (Raymond Kurzweil) – автор книги Singularity is Near («Сингулярность уже близка»), в настоящее время руководящий проектом Google, связанным с обработкой естественного языка.

Всем я задал вопрос: «К какому году с вероятностью 50 % будет создан ИИ уровня человеческого?» Большинство предпочло поделиться своими предположениями анонимно. Двое из опрошенных выразили желание официально поделиться своей точкой зрения. Результаты этого опроса приведены в конце книги. Вы увидите, как мнения по важным темам зачастую кардинально расходятся, что представляет собой один из наиболее интересных аспектов данной книги.

Третья обсуждаемая тема связана с последствиями прогресса в области ИИ, ожидаемыми как в ближайшем, так и в отдаленном будущем. Становится очевидной проблема уязвимости взаимосвязанных автономных систем к атакам через интернет. Также выявлена предрасположенность алгоритмов машинного обучения к предвзятости по расовому и половому признакам. Многие из моих собеседников подчеркнули важность решения этой проблемы и рассказали об исследованиях в этой области. Некоторые дали оптимистический прогноз, предположив, что ИИ поможет нам избавиться от предвзятости и дискриминации.

Многих волнует опасность появления полностью автономного оружия. В сообществе исследователей ИИ существует мнение, что роботы или дроны, способные убивать без контроля человека, в конечном итоге могут стать не менее опасными, чем биологическое или химическое оружие. В июле 2018 г. более 160 компаний и 2400 исследователей (среди которых есть мои собеседники) подписали соглашение о запрете производства смертоносных алгоритмов[3].

Более отдаленной и умозрительной является проблема несоответствия собственных целей сильного ИИ с желаниями человека. Этой темы касались почти все мои собеседники. Чтобы адекватно и рационально осветить эту проблему, я поговорил с Ником Бостромом (Niсk Bostrom) из оксфордского Института будущего человечества (Future of humanity institute, FHI) – автором бестселлера «Искусственный интеллект: этапы, угрозы, стратегии»[4], в котором тщательно рассматриваются потенциальные риски, связанные с машинами, интеллектуально превосходящими человека.

Создатели интеллекта

Интервью для этой книги проводились с февраля по август 2018 г. Практически все они длились не меньше часа, а некоторые существенно дольше. Записанные, транскрибированные, а затем отредактированные командой издательства Packt тексты я дал своим собеседникам на проверку. Уверен, что книга верно отражает мысли респондентов.

Эксперты, с которыми я общался, имеют разное происхождение и сотрудничают с разными компаниями. Но вы быстро обнаружите, насколько сильно влияние Google на сообщества, связанные с ИИ. Из двадцати трех специалистов у семи есть или были связи с Google или холдингом Alphabet. Много талантливых людей работает в Массачусетском технологическом институте (MIT) и Стэнфорде. Джеффри Хинтон и Иошуа Бенджио представляют университеты Торонто и Монреаля соответственно, а правительство Канады ведет четкую промышленную политику, ориентированную на робототехнику и ИИ. В Соединенных Штатах работали 19 из 23 опрошенных, но больше половины из них родились за пределами США: в Австралии, Китае, Египте, Франции, Израиле, Родезии (ныне Зимбабве), Румынии и Великобритании. Это ярко иллюстрирует роль иммиграции квалифицированных кадров в технологическом лидерстве США.

Проводя интервью, я все время помнил, что книгу будут читать самые разные люди, от специалистов по теории вычислительных машин и систем до менеджеров и инвесторов. Но самая важная часть аудитории – молодые люди, которые могут задуматься о карьере в области ИИ. Сейчас в ней наблюдается дефицит кадров, особенно специалистов с навыками глубокого обучения, что дает возможность для хорошего карьерного роста. В настоящее время прилагаются усилия по привлечению в отрасль талантливых специалистов, и уже широко признается необходимость профессиональной интеграции.

Около четверти опрошенных мной – женщины. Здесь их доля выше, чем в сфере ИИ и машинного обучения в целом. Согласно недавним исследованиям, женщины составляют примерно 12 % ведущих сотрудников в области машинного обучения[5]. В процессе интервью многие подчеркивали необходимость увеличения доли как женщин, так и представителей меньшинств.

Одна из моих собеседниц уделяет особое внимание многообразию в области ИИ. Фей-Фей Ли из Стэнфорда – соучредитель AI4ALL[6], устраивающей летние учебные лагеря для старшеклассников из мало представленных в этой сфере групп. AI4ALL получила поддержку отрасли, а также грант от Google, и теперь такие программы проводятся в шести американских университетах. В этом направлении еще многое предстоит сделать, но основания для оптимистических прогнозов уже есть.

Хотя книга рассчитана на широкий круг читателей, в тексте будут встречаться специальные понятия и термины. Если вы ранее ничего не знали об ИИ, то я рад, что вас познакомят с ним ведущие специалисты, и рекомендую вам начать с краткого словаря, приведенного ниже. В интервью Стюарта Рассела – соавтора ведущего учебника по ИИ – вы найдете объяснение ключевых концепций области.

Возможность взять эти интервью была для меня честью. Надеюсь, вы тоже увидите в моих собеседниках вдумчивость, умение рассказывать и глубокую приверженность идее работы на благо человечества. Чего в книге нет, так это единодушия. Она наполнена разнообразными, зачастую резко противоречивыми представлениями, мнениями и прогнозами. Понятно только одно: ИИ – широко открытое пространство. Можно строить предположения о природе будущих инноваций, скорости их появления и конкретных вариантах их применения. Именно из-за этой комбинации потенциальной разрушительности с фундаментальной неопределенностью необходим содержательный и всеобъемлющий разговор о будущем ИИ и его влиянии на наш образ жизни. Надеюсь, моя книга внесет в него свой вклад.

Краткий словарь терминов

В нескольких интервью углубленно рассматриваются методы, используемые в сфере ИИ. Для понимания материала специальных знаний не требуется, но встречающиеся термины желательно знать. Вот объяснение наиболее важных из них. Если вы сочтете какой-то раздел технически сложным и запутанным, просто пропустите его и переходите к следующему.

Машинное обучение (machine learning) – раздел ИИ о методах построения алгоритмов, способных обучаться на данных. Другими словами, алгоритмы машинного обучения – это компьютерные программы, которые, по сути, программируют сами себя, просматривая информацию. Раньше считалось, что «компьютеры совершают только те действия, которые были запрограммированы», но эта ситуация меняется. Среди многочисленных типов алгоритмов машинного обучения самый революционный (и привлекающий всеобщее внимание) – это глубокое обучение.

Глубокое обучение (deep learning) – вид машинного обучения, в котором используются глубокие (или многоуровневые) искусственные нейронные сети (artificial neural networks), то есть программное обеспечение, имитирующее работу нейронов мозга. Глубокое обучение послужило основной движущей силой развития ИИ.

Есть и другие термины, которые, скорее всего, новичкам покажутся сложными. Без их глубокого понимания вполне можно обойтись, но краткое пояснение лишним не будет.

Метод обратного распространения ошибки (backpropagation) – алгоритм, используемый в системах глубокого обучения. Информация, поступающая в нейронную сеть, распространяется обратно через слои нейронов, вызывая у некоторых из них изменение настроек – весов (см. ниже «Обучение с учителем»). Так постепенно сеть находит правильный ответ. В 1986 г. Джеффри Хинтон стал соавтором первой полноценной статьи на эту тему, о чем более подробно вы узнаете из интервью с ним.

Еще более непонятный термин – градиентный спуск (gradient descent) – относится к математической технике, которую алгоритм обратного распространения использует для уменьшения ошибки в процессе обучения сети.

Встречаются в книге и термины, относящиеся к типам или конфигурациям нейронных сетей: рекуррентные (recurrent) и сверточные (convolutional) сети, а также машины Больцмана (Boltzmann machines). Различия обычно сводятся к способам связи нейронов. Детальное рассмотрение этих понятий выходит за рамки книги. Тем не менее я попросил объяснить их Яна Лекуна – изобретателя сверточной архитектуры, которая широко используется в распознавании объектов на изображениях.

Термин байесовский (bayesian) можно перевести как «вероятностный». Он встречается в таких сочетаниях, как «байесовские методы машинного обучения» или «байесовские сети». Они относятся к алгоритмам, которые используют вероятностные зависимости. Термин назван в честь священника Томаса Байеса (1701–1761), который сформулировал способ обновления вероятности события после возникновения другого, статистически взаимозависимого с ним. Байесовские методы очень популярны как среди специалистов по теории вычислительных машин и систем, так и среди ученых, моделирующих человеческое познание. Больше всего по этой теме рассказал Джуда Перл.

Способы обучения ИИ-систем

Существуют разные типы машинного обучения. Решающую роль в развитии искусственного интеллекта играют инновации, то есть новые способы обучения систем ИИ.

При обучении с учителем (supervised learning) алгоритму передаются структурированные, классифицированные и снабженные метками данные. Например, чтобы научить систему глубокого обучения распознавать на снимках собак, ей нужно предоставить много тысяч (или даже миллионов) изображений этого животного с меткой «собака». Кроме того, потребуется огромное количество изображений без собаки с меткой «нет собаки». После обучения можно показывать системе новые фотографии, и она будет определять наличие на них собаки на уровне, превосходящем возможности обычного человека.

Обучение с учителем – наиболее распространенный метод, применяемый в современных системах ИИ. На его долю приходится около 95 % практических приложений. Именно оно послужило основой машинного перевода (после обучения на миллионах предварительно переведенных документов) и ИИ-систем диагностики (после обучения на снимках с пометками «рак» и «нет рака»). К сожалению, для такого обучения требуются огромные объемы маркированных данных. Именно поэтому лидирующее положение в технологии глубокого обучения занимают такие компании, как Google, Amazon и Facebook.

Обучение с подкреплением (reinforcement learning), по сути, представляет собой обучение на практике или методом проб и ошибок. Система учится не на правильных размеченных данных, а самостоятельно ищет решение, получая подкрепление в случае успеха. Это напоминает дрессировку животных, которым в случае правильных действий дается кусочек вкусной еды. Именно обучение с подкреплением применялось для построения систем ИИ, играющих в игры. Из интервью с Демисом Хассабисом вы узнаете, что компания DeepMind использовала этот тип обучения для разработки компьютерной системы AlphaGo.

Проблема обучения по этому алгоритму заключается в необходимости огромного количества тренировочных попыток. Поэтому он применяется в основном для игр или для задач, которые можно воспроизводить на компьютере с высокой скоростью. Обучение с подкреплением можно использовать при разработке беспилотных автомобилей, но не для их эксплуатации на реальных дорогах. Виртуальные машины обучаются в искусственной среде, а после завершения обучения программное обеспечение устанавливается на реальные автомобили.

Обучение без учителя (unsupervised learning) обеспечивает непосредственное обучение на поступающих из окружающей среды неструктурированных данных. Именно так учатся люди. Например, дети учатся говорить, слушая речь родителей. Разумеется, человек использует и другие типы обучения, но самым характерным для него остается наблюдение и неконтролируемое взаимодействие с окружающей средой.

Обучение без учителя – один из наиболее многообещающих путей развития ИИ. Только представьте системы, умеющие обучаться сами без подготовки данных. Но их разработка – одна из самых сложных задач. Ее решение станет важной точкой на пути к созданию сильного ИИ.

Термин сильный ИИ обозначает истинно мыслящую машину, изначальную цель создания ИИ. Еще его называют интеллектом, сравнимым с человеческим разумом. Примеры сильного ИИ можно наблюдать в научной фантастике: компьютер HAL 9000 из «Космической одиссеи», главный компьютер космического корабля «Энтерпрайз» (или Дэйта) из «Звездного пути», андроид C3PO из «Звездных войн» и агент Смит из «Матрицы». Все эти вымышленные системы могли пройти тест Тьюринга (Turing test), то есть вести беседу как человек. Этот тест был предложен Аланом Тьюрингом в статье 1950 г. «Вычислительные машины и разум»[7], которую можно считать основополагающей работой в области ИИ.

Есть вероятность, что когда-нибудь появится cуперинтеллект (superintelligence), или машина, превосходящая интеллектуальные способности любого человека. Это может произойти в результате простого увеличения аппаратных мощностей и быть ускорено самосовершенствованием этой машины. Так она запустит «рекурсивный цикл улучшения» или «быстрый интеллектуальный взлет», создавая проблему «выравнивания», если вступит в противоречие с интересам человека.

Иошуа Бенджио

“ИИ, который существует сейчас и может появиться в обозримом будущем, не понимает и не чувствует нормы морали".

Директор Монреальского института алгоритмов обучения (MILA), доктор computer science, профессор кафедры информатики и математических методов Монреальского университета, соруководитель проекта Learning in Machines & Brains Канадского института перспективных исследований (CIFAR)

Иошуа Бенджио широко известен как один из пионеров глубокого обучения. Он активно продвигал исследования нейронных сетей, в частности обучение без учителя, и стал соавтором книги «Глубокое обучение»[8] – одним из основных учебников по одноименному предмету.

Мартин Форд: Вы играете ведущую роль в исследованиях ИИ, поэтому начать мне хотелось бы с вопроса о том, какие исследовательские проблемы стоят на пути к сильному ИИ.

Иошуа Бенджио: До создания ИИ, сравнимого с человеческим, нам еще очень далеко. Нужно понять, к примеру, почему невозможно создать машину, которая понимала бы окружающую действительность так же, как человек. Чего нам не хватает: обучающих данных или вычислительных мощностей? Многие считают, что причина состоит в отсутствии необходимых базовых компонентов, например, умения видеть причинно-следственные связи в данных, которое позволяет делать обобщения и находить правильные ответы в условиях, отличных от тренировочных.

Человек может представить, как он переживет новый для себя опыт. Например, если вы никогда не попадали в автомобильную аварию, вы все равно сможете прокрутить у себя в голове такую ситуацию и принять правильное решение. Обучение с учителем помогает компьютеру находить статистические закономерности в поставляемых данных, которые заранее классифицированы и размечены людьми.

Многие исследования пока не дали значимых результатов. Компьютер не может автономно приобретать знания о мире, воздействовать на него и наблюдать результат воздействия. Ответы на вопрос, как это реализовать, ищем не только мы.

М. Ф.: Какие проекты в настоящее время можно считать первостепенными в области глубокого обучения? Мне первым делом вспоминается программа AlphaZero. Есть ли другие?

И. Б.: На мой взгляд, из множества интересных проектов наиболее перспективны те, в которых агент в виртуальном мире пытается решать задачи, попутно изучая все с ними связанное. Такими проектами занимаемся мы в MILA, а также компании DeepMind, OpenAI, Университет Беркли, Facebook и Google в рамках проекта Google Brain. Это новые горизонты.

Но это долговременные исследования. Мы работаем не над конкретными вариантами применения глубокого обучения, а над тем, как научить агента осмысливать окружающую среду, говорить и понимать так называемый обоснованный язык (grounded language).

М. Ф.: Что означает этот термин?

И. Б.: Раньше компьютеры обучались языку, знакомясь с множеством текстов. Причем они достигали понимания только через связь слова с называемой им реалией. В отличие от робота, человек может сопоставить слово не только с объектом из реального мира, но и с вариантами изображения этого объекта.

Многочисленные исследования в области обучения обоснованному языку сводятся к попыткам научить роботов понимать язык хотя бы на уровне отдельных слов и выражений и реагировать соответствующим образом. Это очень интересное направление, необходимое для реализации таких вещей, как диалог с роботами, личные помощники и т. п.

М. Ф.: То есть, по сути, идея состоит в том, чтобы дать агенту свободу в смоделированной среде, позволив ему учиться, как это делают дети?

И. Б.: Именно так. Более того, мы пользуемся результатами исследований в области детского развития и изучаем, какие этапы проходит новорожденный в первые месяцы жизни, постепенно приобретая представления о мире. До сих пор не совсем понятно, какие умения являются врожденными, а какие получены путем изучения.

Несколько лет назад я предложил для машинного обучения практику, которая используется при дрессировке животных – обучение по плану (curriculum learning). Обучающие примеры в этом случае демонстрируются не произвольно, а в последовательности, целесообразной для обучения. Процесс начинается с простых концепций, которые после их освоения учеником можно использовать как «кирпичики» для объяснения более сложных понятий.

М. Ф.: Я бы хотел поговорить о работе над сильным ИИ. Очевидно, что важной составляющей этого процесса вы считаете обучение без учителя. Что еще необходимо сделать?

И. Б.: Мой друг Ян Лекун сравнивает этот процесс с подъемом на гору. Сначала все радуются, насколько высоко забрались, но по мере приближения к вершине встречается множество других гор. Сейчас при разработке сильного ИИ четко видна ограниченность используемых подходов. Пока мы искали способы обучения более глубоких сетей, взбираясь на первую гору, создаваемые системы исследовались очень узко – на том этапе было важно просто подняться на несколько шагов вверх.

Как только применяемые техники обучения дали первые удовлетворительные результаты – мы приблизились к вершине первой горы, – стали заметны ограничения. И это следующая гора, которую нужно будет покорять. Поэтому невозможно сказать, сколько еще открытий потребуется.

М. Ф.: А вы можете хотя бы примерно оценить количество гор? Или период времени, который потребуется на создание сильного ИИ? Просто поделитесь своими прогнозами.

И. Б.: Не вижу смысла говорить о сроках. Невозможно предсказать, когда именно будет открыта дверь, от которой у нас нет ключа. Могу только заверить, что в ближайшие годы никаких прорывов не будет.

М. Ф.: Считаете ли вы перспективными глубокое обучение и нейронные сети в целом?

И. Б.: Да, многолетний прогресс в области глубокого обучения и нейронных сетей означает, что открытые концепции будут активно использоваться и дальше. Возможно, именно они помогут понять, каким образом мозг животных и человека осваивает сложные понятия. Но этого недостаточно для создания сильного ИИ. В настоящее время мы видим ограниченность имеющихся систем и собираемся улучшать и развивать их.

М. Ф.: Я знаю, что Институт искусственного интеллекта Пола Аллена (AI2) работает над проектом Mosaic, в рамках которого компьютеру пытаются помочь обрести разум. Считаете ли вы, что это важная задача? Ведь, возможно, разум рождается в процессе обучения?

И. Б.: Я уверен, что он возникает именно как результат обучения. Разум не может появиться только потому, что кто-то положил вам в голову какие-то знания. По крайней мере, у людей так.

М. Ф.: Глубокое обучение – основной путь к созданию сильного ИИ или потребуются гибридные системы?

И. Б.: Изначально ИИ был условным понятием, ни о каком обучении речи не шло. В центре внимания была способность машины делать последовательные выводы и объединять фрагменты информации. А глубокое обучение нейронных сетей можно назвать познанием снизу вверх. Все начинается с восприятия, в котором мы закрепляем понимание мира машиной. Затем можно строить распределенные представления и фиксировать связи между множеством переменных.

Отношения между такими переменными мы с братом изучали в 1999 г., что дало толчок к появлению в области естественного языка таких подходов, как векторное представление слов или распределенные представления слов и предложений. В них слово описывается характером активности в мозге или набором чисел. Слова со сходными значениями связываются со сходными числовыми комбинациями.

В настоящее время на базе этих подходов пытаются решать классические проблемы ИИ, связанные с умением рассуждать и понимать, программировать и планировать. «Строительные блоки», обнаруженные при изучении восприятия, сейчас пробуют распространять на когнитивные задачи более высокого уровня (психологи называют это действиями Системы 2). Я полагаю, именно таким способом мы будем двигаться к сильному ИИ. Это нельзя назвать гибридной системой; скорее, мы пытаемся работать над классическим ИИ, используя как строительный материал концепции из глубокого обучения. Можно сказать, что требуются альтернативные пути достижения цели.

М. Ф.: То есть вы считаете, что все сведется к нейронным сетям с различными архитектурами?

И. Б.: Да. Ведь человеческий мозг состоит из нейронных сетей. Нужно придумать архитектуры и обучающие техники, позволяющие решать задачи, поставленные перед классическим ИИ.

М. Ф.: Обучения и тренировки будет достаточно или потребуется какая-то дополнительная структура?

И. Б.: Она уже существует, просто отличается от привычной структуры представления знаний, которую мы наблюдаем в энциклопедиях или формулах. Она имеет архитектуру нейронной сети и довольно широкие допущения по поводу окружающего мира и вершины собственных возможностей. Чтобы реализовывать в нейронной сети механизм внимания, такая структура требует большого количества предварительных знаний. Оказывается, данные имеют решающее значение для таких вещей, как машинный перевод.

Уже существует множество предположений в разных предметных областях о мире и о внедряемой функции, которые в виде архитектур и целей содержались в технологии глубокого обучения. Именно этому посвящено большинство современных научных работ.

М. Ф.: Говорят, что новорожденные развивают навык распознавания лиц с первых дней жизни. Очевидно, что это возможно благодаря некой структуре в мозге. Это не просто реакция нейронов на пикселы.

И. Б.: Ошибаетесь! Это именно реакция нейронов на пикселы, кроме того, в мозге ребенка присутствует особая структура, которая распознает нечто круглое с двумя точками внутри.

М. Ф.: Я считаю, что она существует с момента рождения.

И. Б.: Разумеется. И все то, что мы проектируем в нейронных сетях, тоже существует с самого начала. Работа исследователя в области глубокого обучения напоминает процесс эволюции. Знания вводятся как в виде структуры, так и через обучение.

При желании можно создать нечто, позволяющее сети распознавать лица, но в этом нет смысла, так как ИИ быстро обучается. Поэтому мы работаем над решением более сложных проблем.

Никто не говорит об отсутствии врожденных знаний у людей, детей и животных. Более того, у большинства животных знания исключительно врожденные. Муравью не приходится долго учиться, он действует в соответствии с заложенной в него программой. Но чем выше существо в иерархии интеллекта, тем большую роль в его жизнедеятельности начинает играть обучение. Человека отличает именно соотношение врожденных и приобретенных навыков.

М. Ф.: Я бы хотел уточнить некоторые из этих концепций. В 1980-е гг., после периода забвения, снова появился интерес к нейронным сетям, но речи о множестве слоев и глубине еще не шло. Вы участвовали в развитии глубокого обучения. Не могли бы вы простыми словами объяснить, что это такое?

И. Б.: Глубокое обучение – это совокупность методов машинного обучения. Но если в случае классического машинного обучения компьютеры учатся по прецедентам, глубокое обучение больше напоминает процесс, происходящий в мозге человека.

Эти методы работы над ИИ появились как продолжение более раннего изучения нейронных сетей. Слово «глубокие» указывает на появление у сетей дополнительных уровней, со своими вариантами представления информации. Мы надеемся, что углубление сетей позволит машине представлять более абстрактные вещи.

М. Ф.: То есть под слоями вы подразумеваете уровни абстракции? И если в качестве примера взять изображение, то первым уровнем будут пикселы, затем контуры и т. д.?

И. Б.: Да, все правильно.

М. Ф.: Правда ли то, что компьютеры до сих пор не понимают, что такое объект?

И. Б.: До некоторой степени компьютер понимает. Скажем, кошка понимает, что такое дверь, но не так, как человек. Даже люди обладают разными уровнями понимания многих вещей, а наука призвана углубить это понимание. Люди интерпретируют образы в контексте трехмерного мира благодаря стереоскопическому зрению и опыту познания. Человек получает не визуальную, а физическую модель объекта. Компьютер интерпретирует изображения на примитивном уровне, но для множества приложений этого достаточно.

М. Ф.: Правда ли, что глубокое обучение стало возможным благодаря методу обратного распространения ошибки, основная идея которого состоит в том, что информацию об ошибке можно отправить от выходов сети к ее входам, корректируя каждый слой в зависимости от конечного результата?

И. Б.: Да, метод обратного распространения стал краеугольным камнем успехов глубокого обучения. Он позволяет присваивать данным коэффициенты доверия (credit assignment), то есть рассчитывать, как для корректного поведения всей сети должны измениться внутренние нейроны. В контексте нейронных сетей об этом методе заговорили в начале 1980-х гг., когда я только начинал работать самостоятельно. Одновременно с Яном Лекуном метод развивали Джеффри Хинтон и Дэвид Румельхарт (David Rumelhart). Идея не новая, но примерно до 2006 г. особых успехов в обучении глубоких сетей не наблюдалось. Сейчас мы имеем механизм внимания, память и способность не только классифицировать, но и генерировать изображения.

М. Ф.: Существуют ли аналоги обратного распространения в человеческом мозге?

И. Б.: Хороший вопрос. Дело в том, что нейронные сети не пытаются скопировать мозг, хотя и появились как попытка смоделировать некоторые происходящие в нем процессы. Мы полностью не понимаем, как работает мозг. Нейробиологи пока не соединили результаты своих наблюдений в общую картину. Возможно, наша работа сможет дать доступную для проверки гипотезу. Ведь метод обратного распространения до сих пор считался уделом компьютеров, но не человеческого мозга. Прекрасные результаты, которые он дает, заставляют подозревать, что, возможно, мозг умеет проделывать похожие штуки. Я участвую в исследованиях, которые могут дать ответ на этот вопрос.

М. Ф.: В период «зимы ИИ», когда общий интерес к нему угас, вы вместе с Джеффри Хинтоном и Яном Лекуном продолжали свои исследования. Как вам удалось добиться таких успехов, как сейчас?

И. Б.: К концу 1990-х гг. нейронные сети вышли из моды, и ими практически никто не занимался. Но моя интуиция говорила, что мы упускаем что-то важное. Ведь благодаря композиционной структуре они могли представить богатую информацию о данных, базируясь на множестве «строительных блоков» – нейронов и их слоев. Лично меня это привело к лингвистическим моделям, то есть к нейронным сетям, которые моделировали текст, используя векторные представления слов. Каждое слово в них связано с набором чисел, соответствующих различным атрибутам, которые изучаются машиной автономно. Тогда этот подход не получил широкого распространения, но в настоящее время эти идеи используются почти во всем, что связано с моделированием языка на основе данных.

Обучать глубокие сети мы не умели, но проблему решил Джеффри Хинтон своей работой по быстрым алгоритмам обучения ограниченной машины Больцмана (restricted Boltzmann machine, RBM). В моей лаборатории велась работа над связанными с ней автокодировщиками, которые дали начало таким моделям, как генеративно-состязательные сети (generative adversarial networks). Благодаря им появилась возможность обучения более глубоких сетей.

М. Ф.: А что такое автокодировщик?

И. Б.: Это специальная архитектура, состоящая из двух частей: кодировщика и декодера. То, что кодировщик сжал – декодер восстанавливал, причем так, чтобы выход был максимально близок к оригиналу. Автокодировщики превращали входную необработанную информацию в более абстрактное представление, в котором проще было выделить семантический аспект. Затем декодер восстанавливал по этой высокоуровневой абстракции исходные данные. Это были первые работы по глубокому обучению.

Через несколько лет мы обнаружили, что для обучения глубоких сетей достаточно изменения нелинейности. Вместе с одним из моих студентов, который работал с нейробиологами, мы решили попробовать блоки линейной ректификации (rectified linear unit, ReLU). Это пример копирования работы человеческого мозга.

М. Ф.: И к каким результатам это привело?

И. Б.: Раньше для активации нейронных сетей использовали сигмоиду, но оказалось, что с функцией ReLU гораздо проще обучать глубокие сети с большим количеством уровней. Переход случился примерно в 2010 г. Появилась огромная база данных ImageNet, предназначенная для отработки и тестирования методов распознавания объектов на изображениях и машинного зрения. Чтобы заставить людей поверить в методы глубокого обучения, нужно было показать хорошие результаты на примере этой базы. Это смогла сделать группа Джеффри Хинтона, которая использовала в качестве основы работы Яна Лекуна, посвященные сверточным сетям. В 2012 г. эти новые архитектуры позволили значительно улучшить существующие методы. За пару лет на эти сети переключились все, кто занимался компьютерным зрением.

М. Ф.: То есть именно в этот момент началось настоящее глубокое обучение?

И. Б.: Нет, совокупность факторов, ускоривших глубокое обучение, целиком сложилась только к 2014 г.

М. Ф.: То есть к моменту, когда этим занялись не только университеты, но и такие компании, как Google, Facebook и Baidu?

И. Б.: Именно так. Процесс ускорения начался чуть раньше, примерно в 2010 г., благодаря таким компаниям, как Google, IBM и Microsoft, которые работали над нейронными сетями для распознавания речи. Эти нейронные сети к 2012 г. Google начала использовать на смартфонах Android. Тот факт, что одну и ту же технологию глубокого обучения смогли применить как для компьютерного зрения, так и для распознавания речи, оказался по-настоящему революционным. Это привлекло внимание к сфере ИИ.

М. Ф.: Удивляет ли вас тот факт, что нейронные сети, с которыми вы много лет назад начали работать, стали центральным элементом проектов в таких крупных компаниях, как Google и Facebook?

И. Б.: Конечно, изначально этого никто не ожидал. В области глубокого обучения был сделан ряд важных, удивительных открытий. Я уже упоминал, что распознавание речи появилось в 2010 г., а о компьютерном зрении стали говорить в 2012 г. Пару лет спустя начался прорыв в сфере машинного перевода, который в 2016 г. привел к появлению сервиса Google Translate. В этом же году началось активное развитие программы AlphaGo. Всего этого мы не ожидали. Помню, как в 2014 г. я просматривал результаты генерации подписей к изображениям и поражался тому, что компьютер смог это сделать. Если бы годом раньше меня спросили, реально ли подобное, я бы ответил «нет».

М. Ф.: Это действительно нечто потрясающее. Конечно, осечки иногда происходят, но в большинстве случаев мы имеем поразительно точный результат.

И. Б.: Осечки неизбежны! Системы пока не обучены на достаточном количестве данных, кроме того, требуется изрядно продвинуться в фундаментальных исследованиях, чтобы они действительно научились распознавать объекты на изображениях и понимать язык. Пока до этого далеко, но ведь даже современного уровня производительности мы изначально не ожидали.

М. Ф.: А как вы пришли к исследованиям в области ИИ?

И. Б.: В юности я активно читал научную фантастику. Подозреваю, что это могло на меня повлиять. Именно оттуда я узнал об ИИ и трех законах робототехники Азимова, и у меня появилось желание изучать физику и математику. А чуть позже мы с братом заинтересовались компьютерами. На сэкономленные деньги мы приобрели компьютер Apple IIe, а затем Atari 800. Программного обеспечения тогда было мало, поэтому мы научились писать программы на языке BASIC.

Я так увлекся программированием, что занялся изучением вычислительной техники, а затем получил ученую степень в области computer science. В 1985 г., во время обучения в магистратуре, я начал читать статьи о первых нейронных сетях, в том числе работы Джеффри Хинтона. Это было любовью с первого взгляда. Я сразу понял, что хочу работать именно в этой сфере.

М. Ф.: Какой совет вы могли бы дать тем, что хочет заниматься глубоким обучением?

И. Б.: Прыгайте в воду и начинайте плавать. Сейчас информация любого уровня доступна в виде учебников, видео и библиотек с открытым исходным кодом. В сети можно бесплатно прочитать книгу «Глубокое обучение», соавтором которой я являюсь. В ней много информации для новичков. Студенты старших курсов зачастую тренируются, читая научные работы и пытаясь самостоятельно воспроизвести описанные там результаты, затем стараются попасть в лаборатории, проводящие исследования такого рода. Сейчас самое благоприятное время для карьеры в сфере ИИ.

М. Ф.: Из ключевых фигур в сфере глубокого обучения вы единственный, кто занимается только наукой. Большинство по совместительству сотрудничает с различными компаниями. Почему вы выбрали этот путь?

И. Б.: Я всегда высоко ценил научное сообщество, свободу работать на общее благо, делая вещи, которые, как я считаю, могут сильно повлиять на происходящее. Мне нравится работать со студентами, как психологически, так и с точки зрения продуктивности исследований. Уйти работать в индустрию – значит лишиться многого из этих вещей.

Кроме того, я хочу остаться в Монреале, а переход в индустрию означает переезд в Калифорнию или Нью-Йорк. Однажды я подумал, что можно попробовать создать новую Кремниевую долину для ИИ. В результате появился MILA, где проводятся фундаментальные исследования, задающие темп работы над ИИ во всем Монреале. Мы сотрудничаем с научно-исследовательским центром Vector Institute в Торонто и компанией Amii в Эдмонтоне в рамках канадской стратегии по продвижению ИИ в науке и экономике с пользой для социума.

М. Ф.: Раз уж вы упомянули об экономике, хотелось бы поговорить о рисках в этой сфере. Я много писал о том, что ИИ может привести к новой промышленной революции и потере множества рабочих мест. Как вы относитесь к этой гипотезе? Не преувеличена ли в данном случае угроза?

И. Б.: Нет, она не преувеличена. Непонятно только, когда это произойдет – в ближайшее десятилетие или намного позже. И даже если завтра мы полностью прекратим фундаментальные исследования в области ИИ, те результаты, которых мы уже достигли, позволят кому-то получить социальное и экономическое преимущество за счет простого создания новых товаров и услуг.

Уже собрано огромное количество данных, которые мы пока не используем. Например, в здравоохранении применяется лишь малая доля доступной информации. А ее становится все больше, потому что каждый день оцифровываются новые данные. Производители аппаратных средств совершенствуют процессоры для глубокого обучения, что без сомнения изменит наш мир.

Конечно, прогресс в этой сфере замедляют социальные факторы. Общество не может моментально измениться, даже если технология идет вперед семимильными шагами.

М. Ф.: Реально ли решить проблему безработицы введением безусловного базового дохода?

И. Б.: Я думаю, это может сработать, но сначала нужно избавиться от морального ограничения, согласно которому у неработающего человека дохода быть не должно. Мне такая точка зрения кажется ненормальной. Думаю, нужно ориентироваться на то, что лучше для экономики и для счастья людей. Имеет смысл провести эксперимент, чтобы попытаться найти ответ на эти вопросы.

А единого ответа не будет. Позаботиться о людях, которые в результате новой промышленной революции останутся не у дел, можно разными способами. Мой друг Ян Лекун сказал, что если бы в XIX в. можно было предвидеть последствия промышленной революции, возможно, люди смогли бы избежать множества страданий. Если бы еще тогда, а не в 1950-х мы создали систему социальной защиты, которая сейчас существует в большинстве западных стран, сотни миллионов людей жили бы намного лучше. А ведь для новой революции, скорее всего, потребуется гораздо меньше столетия, и потенциальные негативные последствия могут быть еще сильнее.

Мне кажется, думать об этом нужно уже сейчас. Искать варианты, позволяющие минимизировать нищету и оптимизировать глобальное благополучие. Думаю, выход есть, но мы вряд ли его найдем, если будем держаться за старые ошибки и религиозные убеждения.

М. Ф.: Если все произойдет скоро, это станет еще и политической проблемой.

И. Б.: Поэтому нужно быстро реагировать!

М. Ф.: Совершенно справедливо. А чем еще, кроме влияния на экономику, может грозить ИИ?

И. Б.: Лично я активно выступал против роботов-убийц.

М. Ф.: Я слышал, что вы подписали письмо корейскому университету, который, по слухам, собирался заниматься их разработкой.

И. Б.: Да, и это помогло. Корейский институт передовых технологий (KAIST) сообщил, что они не будут разрабатывать автономные военные системы.

Отдельно я хотел бы коснуться такого важного вопроса, как включение людей в цикл управления. ИИ, который существует сейчас и может появиться в обозримом будущем, не понимает и не чувствует нормы морали. Разумеется, критерии добра и зла в разных культурах могут отличаться, тем не менее для людей они крайне важны.

Это касается не только роботов-убийц, но и роботов вообще. Представьте себе работу судьи. Для решения таких сложных моральных вопросов нужно понимать человеческую психологию и иметь моральные ценности. Нельзя передавать право принятия судьбоносных решений бездушной машине. Нужны социальные нормы или законы, гарантирующие, что в обозримом будущем компьютеры не получат таких полномочий.

М. Ф.: Здесь я мог бы с вами поспорить. Ваш взгляд на людей и их суждения крайне идеалистический.

И. Б.: Возможно. Но лично я предпочту, чтобы меня судил несовершенный человек, а не машина, не понимающая, что она творит.

М. Ф.: Но представьте себе автономного робота-охранника, который начинает стрелять только в ответ, когда в него попадает пуля. Человеку это недоступно, и потенциально именно такое поведение может спасти другие жизни. Теоретически, если запрограммировать такого робота правильно, он будет избавлен от расовых предрассудков. И в результате он получит преимущество перед человеком. Вы согласны?

И. Б.: Допускаю, что когда-нибудь такое станет возможным. Но вопрос в понимании машиной контекста задачи. Об этом компьютеры не имеют ни малейшего представления.

М. Ф.: Какие еще угрозы может нести ИИ?

И. Б.: Пока это практически не обсуждается, но после происшествий в Facebook и в Cambridge Analytica проблема может выйти на первый план. Она касается рекламы. Применение ИИ с целью воздействия на людей несет опасность для демократии и морально недопустимо. Общество должно позаботиться о предотвращении подобных явлений.

Например, в Канаде запрещена реклама, направленная на детей. Считается, что манипулировать уязвимыми умами аморально. Разумеется, уязвимы не только дети, иначе реклама бы просто не работала.

Во-вторых, реклама негативно влияет на состояние рынка, потому что за счет нее крупные компании мешают своим малоизвестным конкурентам. Современные технологии на базе ИИ позволяют еще точнее доносить посыл до целевой аудитории. Страшно то, что так людей можно заставить ухудшать собственную жизнь. Я имею в виду, например, политическую рекламу. С инструментами, которые позволяют влиять на людей, следует быть очень осторожными.

М. Ф.: Как вы можете прокомментировать предупреждения Илона Маска и Стивена Хокинга о смертельной угрозе, которую несет суперинтеллект, и о рекурсивном улучшении? Стоит ли об этом беспокоиться в данный момент?

И. Б.: Лично меня эти вопросы не волнуют. Исходя из текущего состояния дел, эти сценарии попросту нереалистичны. Они не совместимы с тем путем, по которому сейчас создается ИИ. Через несколько десятилетий все может измениться, но в настоящий момент – это научная фантастика. По крайней мере, с моей точки зрения. Более того, эти страхи отвлекают от насущных проблем, над которыми мы могли бы работать.

Кроме роботов-убийц и политической рекламы, существует, к примеру, проблема системной предвзятости в данных, ведущая к усилению дискриминации. Правительство и бизнес могут повлиять на это. Поэтому вместо обсуждения рисков, которые могут появиться в долгосрочной перспективе, нужно уделять внимание актуальным угрозам.

М. Ф.: А что вы думаете о работе в этой сфере, которую проводит Китай и другие страны? Например, вы упоминали об ограничениях на автономное оружие, но проблема в том, что некоторые страны могут игнорировать соглашение. Есть ли в данном случае повод для беспокойства?

И. Б.: Как ученый я не считаю это проблемой. Чем больше исследователей во всем мире работает над какой-то темой, тем лучше. Если Китай много инвестирует в исследования в сфере ИИ, это прекрасно; в конце концов, пользоваться результатами мы будем вместе. Хотя меня и пугают мысли о том, что китайское правительство может использовать технологию в военных целях. Системы, умеющие распознавать лица и следить за людьми, позволяют за считаные годы построить общество «Большого Брата». Технически это вполне осуществимо и представляет большую опасность для демократии. Это то, о чем мы должны беспокоиться. Подобное возможно при автократии.

Что же касается гонки вооружений, не нужно смешивать роботов-убийц и применение ИИ в военных целях. Я не считаю, что следует полностью запретить ИИ в армии. Если ИИ будет использован для создания оружия, уничтожающего роботов-убийц, это хорошо. Аморально создание таких роботов, а не применение ИИ военными. Ведь работать можно и над оборонительным оружием.

М. Ф.: То есть вы считаете, что нужен свод правил работы над автономным оружием?

И. Б.: Свод правил требуется везде. По крайней мере, в областях, где применение ИИ будет влиять на общество. Нужно разработать правильные социальные механизмы, которые смогут гарантировать, что ИИ не будет использован во вред.

М. Ф.: И вы думаете, правительство в состоянии заняться этим вопросом?

И. Б.: Доверять решение этого вопроса компаниям точно не следует, потому что их в основном заботит увеличение прибыли. Конечно, они будут пытаться сохранить популярность у пользователей и клиентов, но их действия не совсем прозрачны.

Я думаю, что основную роль тут должно сыграть правительство, точнее даже международное сообщество.

М. Ф.: Считаете ли вы, что выгоды от ИИ в целом перевешивают связанные с ним риски?

И. Б.: Выгоды смогут перевесить риски, если мы будем действовать мудро. Именно поэтому так важно принимать правильные решения. И не хочется, закрыв глаза, мчаться вперед; нужно видеть все подстерегающие нас опасности.

М. Ф.: Где, по вашему мнению, все это должно обсуждаться? В аналитических центрах и университетах? Или требуется политическая дискуссия как на национальном, так и на международном уровне?

И. Б.: Нужна именно политическая дискуссия. В частности, на встрече Большой семерки, куда меня пригласили, был поставлен вопрос: «Какой путь развития ИИ может оказать положительное влияние на экономику и позволит сохранить доверие людей?» Потому что общество обеспокоено. И устранить это беспокойство поможет только открытая дискуссия, в которой смогут участвовать все желающие. Потому что ИИ и связанные с ним проблемы должны быть понятны любому человеку.

Стюарт Рассел

“Как только сильный ИИ «выйдет из детского сада», он превзойдет людей во всех возможных областях и будет обладать куда большей базой знаний, чем любой человек".

Профессор электротехники и computer science. директор Center for Intelligent Systems при Калифорнийском университете в Беркли

Стюарт Рассел известен как один из ведущих разработчиков ИИ. Является соавтором учебника по ИИ «Искусственный интеллект. Современный подход»[9], который в настоящее время используется более чем в 1300 колледжах и университетах в 118 странах. Получил степень бакалавра физики в Уодхэм-колледже Оксфордского университета и докторскую степень в области computer science в Стэнфорде. Занимался исследованиями на различные темы, связанные с ИИ, такие как машинное обучение, представление знаний и компьютерное зрение. Имеет многочисленные награды, в том числе Международной объединенной конференции по ИИ (IJCAI). Является членом Американской ассоциации содействия развитию науки, Ассоциации по продвижению ИИ (AAAI) и Ассоциации вычислительной техники (ACM).

Мартин Форд: Вы написали учебник по ИИ, поэтому мне было бы интересно услышать, как вы определяете некоторые ключевые термины. Что входит в понятие ИИ? Какие проблемы информатики относятся к нему? Как ИИ связан с машинным обучением?

Стюарт Рассел: Я дам вам, скажем так, стандартное определение, которое приведено в нашей книге и в настоящее время общепризнано: «сущность разумна настолько, насколько правильно она поступает». Это означает, что ее действия должны приводить к поставленным целям. Определение относится как к людям, так и к машинам. Если разложить идею правильного поведения на составляющие и исследовать, окажется, что система ИИ должна уметь постигать, видеть, распознавать речь и действовать.

Еще требуется умение видеть суть вещей. Невозможно успешно функционировать в мире, о котором вам ничего не известно. Понять, каким образом мы осознаем различные вещи, помогает такое научное направление, как представление знаний. В его рамках изучаются способы внутреннего хранения данных, с последующей их обработкой алгоритмами формирования рассуждений, такими как алгоритмы автоматического логического вывода и вероятностного вывода.

Машинное обучение всегда было частью науки об ИИ. По сути, это развитие корректного поведения на базе предшествующего опыта.

М. Ф.: Еще дайте, пожалуйста, определения нейронным сетям и глубокому обучению.

С. Р.: Одна из стандартных методик машинного обучения – это обучение с учителем. Системе ИИ дается набор примеров какого-то понятия, снабженных описаниями и метками. Представьте фотографию с подписью, которая указывает, что это изображение лодки, далматинца или чашки с вишнями. Цель обучения состоит в поиске параметра или гипотезы, которые позволят классифицировать изображения в целом. Так мы пытаемся научить ИИ предсказывать, как могут выглядеть другие изображения тех же объектов.

Гипотезу или параметр можно представить в виде нейронной сети – схемы, состоящей из набора слоев. Входом в нее могут быть значения пикселов на фотографиях далматинцев. В процессе их распространения по схеме на каждом уровне вычисляются новые значения. На выходе из нейронной сети мы получаем распознавание объекта. И мы надеемся, что если подать на вход изображение далматинца, то после прохождения значений всех пикселов через все слои нейронной сети индикатор далматинца будет иметь высокое значение, а индикатор чашки с вишнями низкое. В этом случае можно сказать, что нейронная сеть правильно распознала объект.

М. Ф.: А как заставить нейронную сеть распознавать объекты на изображениях?

С. Р.: Для этого и нужен процесс обучения. Его алгоритмы настраивают весовые коэффициенты всех связей таким образом, чтобы на примерах сеть запоминала правильные ответы. При определенном везении сеть начинает распознавать объекты и на новых, не входящих в обучающий набор изображениях.

Глубокое обучение – это обучение многослойных нейронных сетей. Формально минимального требования к глубине сети не существует, но двух- или трехуровневые сети, как правило, не считаются глубокими. Некоторые сети могут насчитывать более тысячи слоев. В них преобразование, происходящее между входом и выходом, можно представить как композицию более простых преобразований, происходящих на отдельных уровнях. Предполагается, что наличие множества уровней облегчает поиск обобщающих параметров благодаря установлению весовых коэффициентов всех связей.

Мы только подходим к теоретическому пониманию того, в каких случаях и почему глубокое обучение дает верные результаты. По большому счету все происходящее до сих пор выглядит для нас как магия. Кажется, что изображения, звуковые сигналы и речь, подаваемые на вход глубокой сети, обладают каким-то свойством, помогающим вычленить из них нужный признак. Но пока не ясно, каким.

М. Ф.: Может сложиться впечатление, что ИИ – это синоним глубокого обучения. Это не так?

С. Р.: Приравнивать глубокое обучение к ИИ – ошибка, потому что умение отличать далматинцев от ваз с вишнями – это малая часть требований к эффективному ИИ. Программы AlphaGo и AlphaZero привлекли внимание СМИ к глубокому обучению, но на самом деле это гибрид классического ИИ, который использует метод поиска, с алгоритмом глубокого обучения, который оценивает каждую игровую позицию. Хотя умение отличать хорошую позицию от плохой в го ключевое, программа не смогла бы сыграть на уровне чемпиона мира только в результате глубокого обучения.

По такому же принципу работает система беспилотного автомобиля. На дороге то и дело возникают ситуации, разрешение которых должно происходить по классическим правилам, но в то же время нужно предугадывать возможную реакцию других участников движения, оценивать последствия.

Восприятие – это важный компонент ИИ, который вполне адекватно удается реализовать через глубокое обучение, но для создания системы ИИ требуется множество других способностей различного типа. Особенно это касается действий, растянутых во времени, таких как поездка в отпуск, или сложных – строительство завода. Такие виды деятельности невозможно организовать, имея только систему типа «черный ящик» с глубоким обучением. Иначе алгоритму глубокого обучения нужно будет продемонстрировать все способы, которые когда-либо применялись для строительства. Научится ли система после этого строить заводы? Нет. Во-первых, таких данных не существует, а если бы они и были – нет смысла строить заводы таким образом.

Для строительства нужны специальные знания. Умение планировать. Знание свойств материалов. Чтобы решать долгосрочные и сложные задачи, можно создать системы ИИ, но глубокое обучение тут не поможет.

М. Ф.: Есть ли достижения в сфере ИИ, которые можно считать прорывом?

С. Р.: Хороший вопрос. Дело в том, что многие достижения, о которых активно говорили в СМИ, это не концептуальный прорыв, а всего лишь демонстрация. Вспомните хотя бы победу суперкомпьютера Deep Blue над Каспаровым. По сути, речь шла о демонстрации алгоритмов, разработанных тридцатью годами ранее и постепенно совершенствовавшихся на более мощном оборудовании. Но прорыв заключался в особенностях шахматной программы. В ней интересны и способ прогнозирования, и альфа-бета-алгоритм, сокращающий объем поиска, и некоторые из методов проектирования функций оценки. В итоге, как это часто бывает, СМИ назвали прорывом то, что им не является.

Также и сегодня. Вспомните отчеты о восприятии и распознавании надиктованной речи, заголовки в газетах о точности понимания текста на уровне человека или еще точнее. Но все эти впечатляющие практические результаты – только демонстрация прорывов, произошедших в 1980–1990-х гг.

Сейчас к более старым достижениям прибавлены современные методы проектирования, огромные наборы данных, многоуровневые сети и новейшее оборудование. Есть интерес к ИИ. Но обсуждаются не прорывы.

М. Ф.: Можно ли считать примером прорывной технологии программу AlphaZero от DeepMind?

С. Р.: Это интересная программа. Но нет ничего удивительного в том, что программное обеспечение для игры го смогли использовать для игры в шахматы и сеги на уровне чемпионов мира.

Тот факт, что программа AlphaZero менее чем за сутки научилась играть на сверхчеловеческом уровне в три разные игры, используя одно и то же программное обеспечение, безусловно, вызывает волнение. Но это всего лишь подтверждает, что если вы четко понимаете класс задачи, особенно детерминированной, если есть два игрока, делающих ходы по очереди, а игра идет по известным правилам и за ней можно наблюдать, то решением может стать хорошо спроектированный класс алгоритмов ИИ, позволяющих обучать функции оценки и использовать классические методы управления поиском.