Вы не авторизовались
Зарегистрироваться
на нашем портале

Сингулярность бесплатное чтение

Вернор Виндж

Технологическая Сингулярность

Вернор Виндж

Технологическая Сингулярность

Опубликовано 01 сентября 2004 года

Исходный вариант этой статьи математик и писатель Вернор Виндж представил на симпозиуме VISION-21, который проводился в 1993 году Центром космических исследований NASA им. Льюиса и Аэрокосмическим институтом Огайо. В 2003 году автор дополнил статью комментариями.

Что такое Сингулярность?

Ускорение технического прогресса - основная особенность XX века. Мы на грани перемен, сравнимых с появлением на Земле человека. Сугубая причина этих перемен заключается в том, что развитие техники неизбежно ведёт к созданию сущностей с интеллектом, превышающим человеческий. Наука может достичь такого прорыва разными путями (и это ещё один довод в пользу того, что прорыв произойдёт):

В Компьютеры обретут "сознание", и возникнет сверхчеловеческий интеллект. (В настоящее время нет единого мнения о том, сумеем ли мы создать машину, равную человеку, однако, если это получится, несомненно, вскоре затем можно будет сконструировать еще более разумные существа).

В Крупные компьютерные сети (и их объединенные пользователи) могут "осознать себя" как сверхчеловечески разумные сущности.

В Машинно-человеческий интерфейс станет настолько тесным, что интеллект пользователей можно будет обоснованно считать сверхчеловеческим.

В Биология может обеспечить нас средствами улучшения естественного человеческого интеллекта.

Первые три возможности напрямую связаны с совершенствованием компьютерного аппаратного обеспечения. [В действительности, четвёртая возможность также зависит от этого, хотя и косвенно.] Прогресс аппаратного обеспечения на протяжении уже нескольких десятилетий поразительно cтабилен. Исходя из этой тенденции, я считаю, что интеллект, превосходящий человеческий, появится в течение ближайших тридцати лет. (Чарльз Платт заметил, что энтузиасты ИИ делают подобные утверждения уже лет тридцать. Чтобы не быть голословным, отделавшись относительной временной двусмысленностью, позвольте мне уточнить: я удивлюсь, если это случится до 2005 года или после 2030 года). [Прошло десять лет, но я по-прежнему считаю, что указанный срок справедлив.]

Каковы будут последствия этого события? Когда прогресс будет направляться интеллектом, превосходящим человеческий, он станет куда стремительнее. Фактически, нет оснований полагать, что прогресс не станет плодить всё более разумные сущности всё более ускоренными темпами. Лучшая аналогия, которую можно здесь провести - в эволюционном прошлом. Животные могут приспособиться и проявлять изобретательность, но не быстрее, чем работает естественный отбор. В случае естественного отбора мир сам выступает в роли собственного симулятора. Мы, люди, обладаем способностью усваивать окружающий мир и выстраивать у себя в голове причинно-следственные связи, поэтому мы решаем многие проблемы в тысячи раз быстрее, чем механизм естественного отбора. Когда же появится возможность просчитывать эти модели на более высоких скоростях, мы войдём в режим, который отличается от нашего человеческого прошлого не менее радикально, чем мы, люди, сами отличаемся от низших животных.

Такое событие аннулирует за ненадобностью весь свод человеческих законов, возможно, в мгновение ока. Неуправляемая цепная реакция начнет развиваться по экспоненте безо всякой надежды на восстановление контроля над ситуацией. Изменения, на которые, как считалось, потребуются "тысячи веков" (если они вообще произойдут), скорее всего, случатся в ближайшие сто лет.

Вполне оправданно будет назвать данное событие сингулярностью (даже Сингулярностью, по замыслу данного эссе). Это точка, в которой наши старые модели придётся отбросить, где воцарится новая реальность. Это мир, очертания которого будут становиться всё четче, надвигаясь на современное человечество, пока эта новая реальность не заслонит собой окружающую действительность, став обыденностью. И всё же, когда мы такой точки, наконец, достигнем, это событие все равно станет великой неожиданностью и ещё большей неизвестностью. В пятидесятые годы немногие предвидели это. Стэн Юлам пересказывал однажды слова Джона фон Неймана: "Один разговор шел о непрерывно ускоряющемся техническом прогрессе и переменах в образе жизни людей, которые создают впечатление приближения некоторой важнейшей сингулярности в истории земной расы, за которой все человеческие дела, в том виде, в каком мы их знаем, не смогут продолжаться".

Фон Нейман даже использовал термин "сингулярность", хотя, похоже, он думал о нормальном прогрессе, а не о создании сверхчеловеческого интеллекта. (По моему же мнению, в сверхчеловечности кроется сама суть Сингулярности, без этого мы пресытимся избытком технических богатств, так и не сумев их как следует переварить).

В шестидесятые года отмечались признаки некоторого вовлечения в нашу жизнь сверхчеловеческого интеллекта. Ирвинг Джон Гуд писал: "Определим сверхразумную машину как машину, которая способна значительно превзойти все интеллектуальные действия любого человека, как бы умён тот ни был. Поскольку способность разработать такую машину также является одним из этих интеллектуальных действий, сверхразумная машина может построить ещё более совершенные машины. За этим, несомненно, последует "интеллектуальный взрыв", и разум человека намного отстанет от искусственного [далее здесь цитируются три более ранние работы Гуда]. Таким образом, первая сверхразумная машина станет последним изобретением, которое выпадет на долю человека, при условии, что машина будет достаточно покорна и поведает нам, как держать ее под контролем… И вероятность того, что в двадцатом веке сверхразумная машина будет построена и станет последним изобретением, которое совершит человек, выше, чем вероятность того, что этого не случится".

Гуд уловил суть разгона прогресса, но не рассматривал его самые тревожащие последствия. Любая разумная машина того типа, что он описывает, не будет "инструментом" человечества так же, как люди не стали орудиями кроликов, малиновок или шимпанзе.

В шестидесятые, семидесятые и восьмидесятые годы осознание грядущего катаклизма ширилось и росло. Вероятно, первыми его влияние почувствовали фантасты. В конце концов, ведь именно научной фантастике полагается рассказывать о том, чем обернутся для нас все эти технологии. Всё чаще писателей преследовало ощущение того, что будущее сокрыто за непроницаемой стеной. Когда-то воображение с лёгкостью переносило их на миллионы лет вперед. Теперь же они обнаруживают, что их наиболее усердные прогнозы относятся к неизвестному… завтра. Прежде галактические империи могли казаться постчеловеческимим реалиями. Ныне, как ни печально, даже межпланетные государства представляются таковыми.

[На самом деле теперь, в начале двадцать первого столетия, романы о космических приключениях делятся на группы, в зависимости от того, каким образом их авторы справляются с вероятностью появления сверхчеловеческих машин. Фантасты используют целый арсенал уловок, чтобы доказать их невозможность или удерживать на безопасном расстоянии от сюжета.]

Так что же ждет нас в эти два-три десятка лет, пока мы движемся к краю? Как наступление Сингулярности станет утверждаться в человеческом мировосприятии? До поры, до времени неплохую прессу будут иметь критики машинного разума. В конце концов, пока не появится аппаратное обеспечение, сравнимое по мощи с человеческим мозгом, наивно надеяться создать интеллект, сравнимый с разумом человека (или превосходящий его). (Есть малоправдоподобная вероятность, что достичь уровня человеческого разума можно и на менее мощном "железе", если мы готовы поступиться скоростью и нас устроит искусственное существо, которое будет медленным в самом буквальном смысле слова. Но, скорее всего, составление программы для него окажется нетривиальным занятием и не обойдётся без многочисленных фальстартов и экспериментов. А раз так, значит, эра машин, наделенных самосознанием, не наступит, пока не будет разработано аппаратное обеспечение, обладающее существенно большей мощностью, чем природное снаряжение человека).

Однако с течением времени мы будем наблюдать все больше симптомов. Дилемма, которую прочувствовали фантасты, станет восприниматься в контексте творческих усилий иного рода. (Мне известно, что вдумчивые авторы комиксов уже беспокоятся о том, каким образом придется создавать зрительные эффекты, когда все видимое вокруг станет можно отображать при помощи широко доступных технических средств.) Мы станем свидетелями того, как постепенно будут автоматизироваться задачи всё более высокого уровня. Уже сейчас существуют инструменты (программы символической логики, САПР), которые освобождают нас от большинства нудной рутины. Есть и обратная сторона медали: истинно производительный труд становится уделом стабильно сокращающейся узкой элиты человечества. С пришествием Сингулярности мы увидим, как, наконец, сбываются прогнозы о настоящей техногенной безработице.

Другой признак движения к Сингулярности: сами идеи должны распространяться быстрее, и даже самые радикальные из них начнут моментально становиться достоянием общественности.

А каким же будет наступление самой Сингулярности? Что можно сказать об истинном характере этого события? Поскольку дело касается интеллектуального разгона, вероятно, это окажется самой стремительной технической революцией из всех прежде нам известных. Свалится, вероятнее всего, как снег на голову - даже вовлеченным в процесс учёным. ("Но ведь все наши предшествующие модели не двигались! Мы только подкрутили кое-какие настройки…") Если сети достаточно широко распространены (в вездесущих встроенных системах), может показаться, будто наши артефакты вдруг обрели самосознание.

И что же тогда случится через месяц или два (или через день-другой) после этого? Есть только одна аналогия, которую я могу провести - возникновение человечества. Мы очутимся в постчеловеческой эре. И несмотря на весь свой технический оптимизм, мне было бы куда комфортнее, если бы меня от этих сверхъестественных событий отделяли тысяча лет, а не двадцать.

Как избежать Сингулярности?

Ну, а может, Сингулярность вообще не наступит. Порой я пытаюсь представить себе признаки, судя по которым, нам станет понятно, что Сингулярности можно не ждать. Есть популярные и признанные аргументы Пенроуза и Сёрла о непрактичности машинного разума. В августе 1992 года сообщество "Мыслящих Машин" устроило мозговой штурм с целью проверить тезис: "Как построить мыслящую машину?" Как вы уже догадались, из этого посыла следует, что участники эксперимента не слишком-то поддерживали те самые аргументы против машинного разума. В действительности, принималась общая договоренность о том, что разум может существовать на небиологической основе, и что алгоритмы являются важнейшей составляющей для разума. Тем не менее, разгорелись жаркие споры по поводу наличия в органических мозгах аппаратной мощности в чистом виде. Меньшинство придерживалось мнения, что крупнейшие компьютеры 1992 года по мощности отставали от человеческого мозга на три порядка. Большинство же участников соглашалось с подсчетами Ганса Моравеца, по которым выходило, что от аппаратного паритета в этом вопросе нас отделяют еще десять-сорок лет. И все же было еще одно меньшинство предполагавших, что вычислительные способности отдельных нейронов могут быть намного лучше, чем принято считать. Если это так, то наши современные компьютеры отстают аж на десять порядков от того снаряжения, которое скрыто у нас в черепной коробке. Если верен этот тезис (или, в данном случае, если взгляды Пенроуза и Сёрла обоснованы), возможно, мы так никогда и не доживем до Сингулярности. Вместо этого, в начале XXI века обнаружится, что круто вздымавшиеся кривые производительности нашего аппаратного обеспечения начнут сглаживаться из-за нашей неспособности автоматизировать конструкторскую работу по разработке дальнейших усовершенствований аппаратных средств. Все кончится каким-нибудь очень мощным компьютером, но без возможности двигаться вперед. Коммерческая цифровая обработка сигналов будет восхитительна, обеспечивая аналоговый выход, сравнимый с цифровыми операциями, но "сознание" не пробудится, а интеллектуальный разгон, являющий собой самую суть Сингулярности, так и начнется. Такое положение вещей, вероятно, следует рассматривать как Золотой век… и конец прогресса. Это будет нечто очень похожее на будущее, предсказанное Гюнтером Стентом, который ясно дал понять, говоря об идее создания надчеловеческого разума, что это станет достаточным условием для того, чтобы его прогнозы не сбылись.

[В предыдущем абзаце не достает того, что я считаю сильнейшим аргументом против вероятности Технологической Сингулярности: даже если мы сумеем создать компьютеры с чистой аппаратной мощью, вероятно, не получится организовать имеющиеся компоненты таким образом, чтобы машина обрела сверхчеловеческий разум. Для техноманов-механистов это, по-видимому, выльется в нечто вроде "неспособности решения проблемы сложности программного обеспечения". Будут предприниматься попытки запустить все более крупные проекты по разработке ПО, но программирование не справится с задачей, а мы никогда не овладеем секретами биологических моделей, которые могли бы помочь воплотить в жизнь "обучение" и "эмбриональное развитие" машин. В конце концов, появится следующий полуфантастический контрапункт Мерфи к закону Мура: "Максимально возможная эффективность программной системы растет пропорционально логарифму эффективности (то есть скорости, полосе пропускания, объему памяти) подлежащего программного обеспечения". В этом мире без сингулярности будущее программистов уныло и беспросветно. (Представьте себе необходимость одолевать скопившиеся за столетия унаследованные программы!) Так что в последующие годы, полагаю, следует обращать особое внимание на две важнейшие тенденции: прогресс в крупных проектах по разработке программного обеспечения и прогресс в применении биологических парадигм в масштабных сетях и масштабных параллельных системах.]

Но если технологической Сингулярности суждено быть, то она случится. Даже если все государства мира осознают "угрозу" и перепугаются до смерти, прогресс не остановится. Конкурентное преимущество - экономическое, военное, даже в сфере искусства - любого достижения в средствах автоматизации является настолько непреодолимым, что запрещение подобных технологий просто гарантирует, что кто-то другой освоит их первым.

Эрик Дрекслер составил впечатляющие прогнозы развития и совершенствования технических средств. Он соглашается с тем, что появление сверхчеловеческого разума станет возможно в ближайшем будущем. Но Дрекслер оспаривает способность человечества удерживать контроль над столь сверхчеловеческими устройствами, чтобы результаты их работы можно было оценить и надежно использовать.

Не соглашусь, что сохранение контроля так уж невозможно. Представьте себя запертым в собственном доме при единственном, ограниченном некими вашими хозяевами канале доступа информации извне. Если бы эти хозяева мыслили со скоростью, скажем, в миллион раз медленнее вас, едва ли стоит сомневаться в том, что через несколько лет (вашего времени) вы изобрели бы способ побега. Я называю эту "быстро мыслящую" форму сверхразума "слабым сверхчеловеческим". Такая "слабая сверхчеловеческая сущность" более чем ускорила бы течение времени эквивалентного человеческому ума. Сложно сказать точно, что будет из себя представлять "сильное сверхчеловеческое", но отличие, по-видимому, будет разительным. Вообразите собаку с чрезвычайно ускорившейся работой мысли. Сможет ли тысячелетний опыт собачьего мышления что-то дать человечеству? Многие предположения о сверхразуме, как кажется, основываются на модели "слабого сверхчеловеческого". Я же думаю, что наиболее верные догадки о постсингулярном мире можно строить на предположениях об устройстве "сильного сверхчеловеческого". К этому вопросу мы еще вернемся.

Другим подходом к проблеме сохранения контроля является идея о создании искуственных ограничений свободы действий сконструированной сверхчеловеческой сущности. [например, Законы роботехники у Азимова]. Я полагаю, что любые правила, достаточно строгие, чтобы обеспечить их эффективность, приведут у созданию устройства с возможностями, очевидно более узкими, чем у нестесненных ограничениями версий (таким образом, соревновательность будет способствовать развитию более опасных моделей).

Если Сингулярность нельзя предотвратить или ограничить, насколько жестокой может стать постчеловеческая эра? Что ж, довольно жестокой. Физическое вымирание человеческой расы - одно из возможных следствий. (Или, как сформулировал это Эрик Дрекслер, говоря о нанотехнологиях: со всеми подобными техническими возможностями, вероятно, правительства решат, что простые граждане им больше не нужны). Тем не менее, физическое вымирание может оказаться далеко не самым страшным последствием. Вспомните о разного рода наших отношениях к животным. В постчеловеческом мире по-прежнему останется множество ниш, в которых эквивлентная человеческой автономность будет востребована: встроенные системы в самоуправляющихся устройствах, автономные демоны низшей функциональности в более крупных разумных существах. ("Сильное сверхчеловеческое, по-видимому, будет представлять собой Общность Разума из нескольких очень умных компонентов".) Некоторые из таких человеческих эквивалентов могут использоваться исключительно для цифровой обработки сигналов. Прочие могут остаться весьма человекоподобными, хотя и специализированными, с узким профилированием, из-за которого в наше время их поместили бы в психиатрическую клинику. Несмотря на то что никто из этих существ может не быть уже людьми из плоти и крови, они останутся наиболее близкими к современному нам человеку в том новом окружении.

[Уверен, Ирвингу Гуду было бы, что сказать на этот счет (хоть я и не нашел у него упоминаний чего-то подобного). Гуд предложил золотое метаправило, которое можно переформулировать следующим образом: "Обращайся с братьями меньшими так, как ты хочешь, чтобы старшие братья обращались с тобой". Это чудесный парадокс (и большинство моих друзей этому не верят), так как последствия, подсчитанные согласно теории игр, отчетливо выразить трудно.Тем не менее, если бы мы могли следовать этому правилу, в каком-то смысле это могло бы говорить о распространенности подобных добрых намерений во вселенной.]

Я уже выражал выше сомнение в том, что мы не можем предотвратить Сингулярность, что ее наступление есть неминуемое следствие естественной человеческой соревновательности и возможностей, присущих технологиям. И все же мы - инициаторы. Даже величайшая лавина вызывается мельчайшими действиями. Мы вольны устанавливать начальные условия, чтобы все происходило с наименьшим для нас ущербом.

[Будет ли прок от предвидения и вдумчивого планирования, может зависеть от того, как произойдет технологическая Сингулярность. Будет ли это "резкий переход" или "тихий переход". Резкий переход - это тот, при котором сдвиг к сверхчеловеческому контролю произойдет за несколько сотен часов (как в "Музыке крови" Грега Бэра). Мне представляется, что спланировать что-то в расчете на резкий переход будет чрезвычайно трудно. Он будет подобен лавине, о которой я писал в этом эссе в 1993 году. Наиболее кошмарная форма резкого перехода может произойти из гонки вооружений, когда две державы подстегивают свои отдельные "манхэттенские проекты" с целью добиться сверхчеловеческой мощи. Эквивалент десятилетий шпионажа на человеческом уровне может сжаться в последние несколько часов существования расы, и весь человеческий контроль и рассудительность пасуют перед некими чрезвычайно деструктивными целями.

С другой стороны, "тихий переход" может занять десятки лет, возможно, более века. Такая ситуация кажется более поддающейся планированию и вдумчивому экспериментированию. Ганс Моравец рассматривает такой "плавный переход" в книге "Робот: от простой машины к сверхразуму"].

Конечно (как и в случае с лавинами), нельзя с уверенностью судить, каков именно на самом деле будет тот самый направляющий толчок.

Путь к Сингулярности

Когда говорят о существах со сверхчеловеческим разумом, обычно имеют в виду проект по созданию искусственного интеллекта. Но как я отметил в начале этой статьи, есть и другие пути к сверхчеловеческому. Компьютерные сети и человеко-машинные интерфейсы представляются более приземленными, нежели ИИ, и все-таки они способны привести к Сингулярности. Я называю этот противоречивый подход Усилением Интеллекта (УИ). УИ протекает вполне естественно, в большинстве случаев его даже не осознают сами разработчики. Однако всякий раз, когда улучшаются наши возможности доступа к информации и передачи ее другим, в каком-то смысле мы достигаем прироста по отношению к природному интеллекту. Сейчас уже дуэт из человека-профессора и хорошей электронной рабочей станции (даже не подключенной к сети), вероятно, может с блеском сдать любой из существующих письменных тестов.

И вполне возможно, что УИ является наиболее легким путем к достижению сверхчеловеческого, нежели ИИ в чистом виде. В том, что касается людей, сложнейшие проблемы развития уже решены. Постепенное создание умных систем на основе имеющихся у человека способностей представляется более легким, чем выяснение истинной сути людей и затем уже постройка аналогичных им интеллектуальных машин. Предположительно, существует еще, по крайней мере, один прецедент в поддержку данной точки зрения. Кернс-Смит рассуждал о том, что биологическая жизнь вполне могла зародиться в качестве случайного дополнительного свойства более примитивных форм жизни, основывавшихся на росте кристаллов. Линн Маргулис выдвигала серьезные аргументы, доказывая, что симбиоз является могучей движущей силой эволюции.

Заметьте, я совсем не предлагаю игнорировать работы по созданию ИИ. Достижения в области разработки искусственного интеллекта зачастую будут находить применение в УИ, и наоборот. Я предлагаю понять, что в работах по созданию сетей и интерфейса кроется нечто настолько же серьезное (и потенциально дикое), как и искусственный интеллект. С таким пониманием мы сможем различить проекты, не столь уже явно практические, как обычные работы по интерфейсам и построению сетей, но зато служащие делу нашего прогресса на пути к Сингулярности вдоль тропы УИ.

Вот несколько возможных проектов, которые приобретают особое значение с точки зрения УИ:

Автоматизация человеко-машинной связки. Возьмите проблемы, которые обычно отводятся для решения машинам (вроде задач по методу итеративного спуска - hillclimbing), и программы разработки и интерфейсы, использующие преимущество человеческой интуиции с доступным компьютерным оборудованием. Принимая во внимание причудливость задач по hillclimbing более высокого порядка (и стройных алгоритмов, придуманных для их решения), для человеческого компонента связки можно разработать чрезвычайно интересные дисплеи и средства управления.

Симбиоз машины и человека в искусстве. Объедините графические возможности современных машин и эстетическую чуткость людей. Конечно, огромные усилия исследователей тратятся на разработку компьютерных средств помощи художникам. Я предлагаю четко нацелиться на наибольшее совмещение умений, на максимально возможную кооперацию. Карл Бимс проделал замечательную работу в этом направлении.

Человеко-машинные команды на шахматных турнирах. У нас уже есть программы, которые играют в шахматы лучше подавляющего большинства людей. Но сколько сделано, для того чтобы эту мощь мог использовать человек, с тем чтобы добиться каких-либо еще больших успехов? Если бы таким командам разрешалось участвовать хотя бы в некоторых шахматных турнирах, это могло бы оказать такое же положительное влияние на исследования УИ, какое допуск компьютеров к шахматным соревнованиям оказывает на соответствующую нишу разработок ИИ.

[В последние несколько лет гроссмейстер Гарри Каспаров развил идею проведения шахматных турниров между игроками, которым помогают компьютеры (поищите в интернете по ключевым словам "Каспаров" и "прогрессивные шахматы"). Насколько мне известно, такие человеко-машинные команды не допускаются к участию в серьезных соревнованиях по шахматам.]

Интерфейсы, которые обеспечат доступ к компьютерам и сетям без обязательной привязки человека к одному месту, за столом с монитором. (Данный аспект УИ настолько успешно согласуется с известными экономическими преимуществами, что в этом направлении уже работают очень активно.)

Более симметричные системы поддержки решения. Популярной областью исследований и разработок в последнее время стали системы поддержки решения. Это одна из форм УИ, только, возможно, слишком сфокусированная на прогностических системах. Столько же, сколько программа предоставляет информации пользователю, должно быть и руководства программой со стороны пользователя.

Местные сети, которые сделают усилия группы людей эффективнее работы отдельных членов. Это и есть, в принципе, понятие о groupware; смена подхода в данном вопросе заключается в представлении групповой деятельности как работы коллективного организма.

В определенном смысле цель такого предложения может заключаться в изобретении "Устава" для таких комбинированных операций. Например, направление деятельности группы легче было бы поддерживать, чем посредством классических собраний. Умения отдельных индивидуумов можно будет изолировать от эгоистических устремлений, с тем чтобы объединенные усилия разных членов группы концентрировались на общем проекте. Ну и, конечно, базы данных совместного пользования можно было бы задействовать полнее, нежели в обычных совещательных операциях.

Интернет представляет собой комбинированный человеко-машинный инструмент. Из всего перечисленного в данном списке прогресс в данной области идет наиболее быстрыми темпами. Сила и влияние интернета в немалой степени недооценивают. Сама по себе анархичность развития Всемирной сети является свидетельством ее потенциала. Покуда наращиваются связность, полоса пропускания, архивные объемы и производительность компьютеров, мы наблюдаем нечто похожее на представление Линн Маргулис о биосфере, как своего рода конспекте процессора данных, только с в миллион раз большей производительностью и с миллионами разумных человеческих агентов (нас самих).

[Брюс Стерлинг искусно иллюстрирует, как подобное развитие может привести ко всеобъемлющему проникновению в повседневную жизнь ("Манеки-Неко", журнал Fantasy amp; Science Fiction, май 1998 года). В качестве нехудожественного взгляда на возможности связки "человечество + технологии" как на сложносоставное существо я рекомендую книгу Грегори Стока "Метачеловек: слияние людей и машин в глобальный сверхорганизм", издательство Simon amp; Schuster, 1993 год. Но возникнет ли в результате самосознание? Или, может быть, самосознание есть неотъемлемая черта интеллекта, заключенного в определенных границах?]

Приведенные выше примеры иллюстрируют исследование, которое можно провести в рамках современных областей компьютерной науки. Существуют и другие парадигмы. Например, многие работы по созданию искусственного интеллекта и нейросетей только выиграют от более тесной связи с биологической жизнью. Вместо того чтобы просто пытаться моделировать и воспроизводить биологическую жизнь при помощи компьютеров, исследования следует направить на создание композитных систем, полагающихся на управление со стороны биологической жизни, либо ради каких-то свойств биологической жизни, которые мы недостаточно понимаем, но все-таки стремимся воспроизвести в аппаратном обеспечении. Вековечной мечтой научной фантастики являются прямые компьютерно-мозговые интерфейсы. На практике, в этой области ведутся конкретные работы:

Протезирование конечностей представляет собой область прямого коммерческого приложения. Прямые нейро-кремниевые преобразователи можно создать. Это восхитительно досягаемый первый шаг к налаживанию прямой человеко-машинной связи.

Прямые каналы связи с мозгом кажутся вполне осуществимыми, если битрейт достаточно низок: учитывая развитую обучаемость человека, едва ли потребуется точно выбирать мишени среди нейронов живого мозга. Даже 100 бит в секунду будут чрезвычайно полезны пострадавшим от паралича, которым, в противном случае, придется оставаться в заложниках у интерфейсов, построенных на структурированных меню.

Подсоединение к оптической магистрали сулит потенциал пропускной способности порядка 1Мбит/с или что-то около того. Однако для этого нам необходимо разобраться в тончайшем устройстве зрения, да еще потребуется вживление огромного количества электродов с необычайной точностью. Если мы хотим, чтобы широкополосное соединение прибавило еще возможностей к тем способностям по обработке данных, что уже имеются в человеческом мозге, проблема становится гораздо неподатливее. Простое вживление сети широкополосных приемников в мозг определенно ни к чему не приведет. Однако предположите, что такая нейросеть уже присутствовала в структуре мозга на стадии эмбрионального развития. А это предполагает:

Эксперименты с зародышами животных. Какого-либо успеха в УИ в первые годы подобных исследований я не ожидаю, но обеспечение развивающемуся мозгу доступа к сложным симулированным нейроструктурам могло бы, в конечном итоге, привести к появлению животных с дополнительными нервными связями и интересными интеллектуальными способностями.

Я надеялся, что данное рассмотрение УИ выявит какие-нибудь очевидно более безопасные пути к Сингулярности (в конце концов, УИ допускает наше участие в некой трансцендентальной форме). Увы, я уверен почти лишь в том, что такие предположения следует принять во внимание, что они предоставят нам большую свободу выбора. Но, что касается безопасности, некоторые из них представляются достаточно устрашающими. УИ для человеческих индивидуумов создает довольно зловещую элиту. У нас, людей, за плечами миллионы лет эволюционного развития, которые заставляют нас представлять соперничество в мрачном свете. По большей части, эта мрачность может оказаться невостребованной в сегодняшнем мире, в котором проигравшие перенимают приемы победителей и, сплотившись, организуют выигрышные предприятия. Существо, созданное "с чистого листа", может оказаться гораздо благонамереннее, нежели тварь, взращенная по законам клыка и когтя.

Проблема заключается не просто в том, что Сингулярность представляет собой уход человечества со сцены, но в том, что она противоречит нашим сокровенным понятиям бытия. Полагаю, более пристальное рассмотрение концепции сильного сверхчеловеческого может прояснить причины такого положения вещей.

После Сингулярности

Сильное сверхчеловеческое и лучшее, на что можно рассчитывать

Предположим, нам удастся спланировать Сингулярность. Предположим, нам удастся воплотить самые сумасбродные мечты. Чего же нам еще тогда останется желать? Что сами люди станут наследниками самих себя, что, какая бы несправедливость не случилась, она всегда будет уравновешена осознанием нашего собственного происхождения. Для не подвергшихся изменениям будет уготовано нарочито мягкое обращение (возможно, даже придание "отставшим" статуса хозяев богоподобных слуг). Может наступить золотой век, не лишенный дальнейшего прогресса (минуя барьер Стента). Бессмертие (или, по меньшей мере, продолжительность жизни, ограниченная нашими способностями сохранить Вселенную) станет достижимым.

Но в этом прекраснейшем и добрейшем из миров одни только философские проблемы становятся устрашающими. Разум, замкнутый в одних и тех же границах, не способен жить вечно, спустя несколько тысяч лет он станет напоминать, скорее, бесконечно повторяющуюся закольцованную пленку, нежели личность. (Наиболее жуткую картину чего-то подобного нарисовал в "Этике безумия" Ларри Найвен). Чтобы жить неограниченно долго, сам разум должен расти. А когда он разрастется до поистине исполинских размеров и оглянется в прошлое, какие родственные чувства он сможет испытывать по отношению к тому, чем он являлся изначально? Разумеется, позднее бытие будет включать в себя все, чем жил оригинал, но и несравненно больше того! Так что даже для индивидуума концепция Кернс-Смита или Линн Маргулис о новой жизни, прирастающей из прежней, остается справедливой.

Данная "проблема" бессмертия проявляется и гораздо более непосредственным образом. Понятие эго и самосознания являлось основополагающим в прожженном рационализме последних нескольких столетий. Однако ныне концепция самосознания подвергается нападкам со стороны приверженцев искусственного интеллекта ("самосознание и прочие заблуждения"). Усиление интеллекта, в свою очередь, выбивает почву из-под концепции эго с другой стороны. В постсингулярном мире чрезвычайно распространятся сверхширокополосные сети. Главной особенностью сильных сверхчеловеческих сущностей, вероятно, станет их способность общаться на разных скоростях, включая более высокие, чем у речи и письма. Что произойдет, когда части эго можно станет копировать и объединять, когда объем самосознания сможет увеличиваться или сокращаться, подстраиваясь под масштаб решаемых задач? Это и есть существенные черты сильного сверхчеловеческого и самой Сингулярности. При мысли о них начинаешь чувствовать, какой радикально чуждой и отличной будет постчеловеческая эра, вне зависимости от того, насколько продуманно и милосердно мы к ней подойдем.

С одной точки зрения, картина вписывается во многие наши мечты о счастье: жизнь без конца и края, в которой мы научимся по-настоящему понимать друг друга и сокровеннейшие тайны бытия. С другой точки зрения, это все сильно напоминает худший сценарий развития событий, который я уже описывал выше в этом эссе.

Какая же точка зрения обоснована? В действительности, мне представляется, что новая эра будет настолько иной, что не сможет вписываться в классические рамки противопоставления добра и зла. Такое понимание зиждется на понятии изолированных, неменяющихся разумов, объединенных тонкими связями с низкой пропускной способностью. Зато постсингулярный мир прекрасно вписывается в более значимую традицию эволюции и коллективности, зародившуюся давным-давно (может быть, еще до появления биологической жизни). Я думаю, что этические нормы, применимые в такую эпоху, все-таки есть. Дальнейшие исследования УИ и сверхширокополосных коммуникаций должны улучшить понимание этого.

Сейчас я вижу лишь отдаленные очертания будущего. Есть Золотое Метаправило Добра. Возможно, есть и законы для распознавания себя среди прочих, основанные на пропускной способности связи. В то время как разум и личность станут значительно лабильнее, чем в прошлом, многого из того, что мы ценим (знания, память, мышление), терять, тем не менее, не следует. Мне кажется, Фримен Дайсон правильно это сформулировал: "Бог - это разум, переросший границы нашего понимания".

В [Хочу поблагодарить Джона Кэрролла и Университет штата Калифорния в Сан-Диего и Говарда Дэвидсона из Sun Microsystems за помощь в обсуждении и подготовке данной статьи.]

Перевод - Олег Данилов.


Оглавление

  • Вернор Виндж Технологическая Сингулярность
  • Что такое Сингулярность?
  • Как избежать Сингулярности?
  • Путь к Сингулярности
  • После Сингулярности
    Скачать книгу

    Vernor Vinge

    The Coming Technological Singularity What If the Singularity Does Not Happen? The Cookie Monster

    © Vernor Vinge, 1993, 2003, 2007

    © Перевод. М. Левин, 2019

    © Перевод. В. Гришечкин, 2019

    © Издание на русском языке AST Publishers, 2019

    * * *

    Грядущая технологическая сингулярность. Как выжить в постчеловеческую эпоху

    Предлагаемая статья была написана для симпозиума VISION-21, спонсированного исследовательским центром НАСА Lewis Research Center и Аэрокосмическим институтом Огайо и проходившего 30–31 марта 1993 года. Ее можно также найти на сервере технических отчетов НАСА как часть документа NASA CP-10129. Слегка измененная версия была опубликована в зимнем выпуске 1993 года Whole Earth Review.

    Резюме

    В ближайшие тридцать лет у нас появятся технические средства для создания сверхчеловеческого интеллекта. Вскоре после этого эра человека закончится.

    Можно ли избежать такого развития событий? И если нет, то можно ли направить эти события таким образом, чтобы у нас была возможность выжить? Этим вопросам посвящена данная статья, в которой представлены некоторые возможные ответы (и указаны некоторые дальнейшие угрозы).

    Что такое Сингулярность?

    Основной характеристикой текущего столетия было и остается ускорение технического прогресса. Я в данной работе утверждаю, что мы стоим на грани перемены, сравнимой с возникновением на Земле человека. Конкретная причина этой перемены – неизбежное создание с помощью техники сущностей, чей интеллект превзойдет человеческий. Средств, которыми наука может добиться этого прорыва, существует несколько (и это усиливает уверенность в его неизбежности):

    – Развитие компьютеров, «проснувшихся» и сверхчеловечески умных. (До сих пор основные споры про ИИ вертелись вокруг вопроса, сможем ли мы создать эквивалент человека в виде машины. Если ответ будет положительным, то вне, всяких сомнений, вскоре после этого можно будет создать и более разумные существа.)

    – Сотрудничество человека с компьютером может стать столь тесным, что пользователей вполне реально будет рассматривать как обладателей сверхчеловеческого интеллекта.

    – Большие компьютерные сети (вместе с пользователями) могут «осознать себя» как сущности, обладающие сверхчеловеческим разумом.

    – Биология может дать средства развития и совершенствования природного человеческого интеллекта.

    Первые три возможности во многом зависят от развития аппаратного обеспечения компьютеров. График прогресса в этой отрасли в последние десятилетия был на удивление стабилен [16].

    Основываясь на этой тенденции, я считаю, что создание интеллекта, превосходящего человеческий, произойдет в ближайшие тридцать лет. (Чарльз Платт [19] указывает, что энтузиасты ИИ говорят то же самое последние тридцать лет. Чтобы не прятаться за неоднозначностью относительного времени, скажу конкретнее: меня удивит, если это событие произойдет до 2005 или после 2030 года.)

    Каковы следствия этого события? Прогресс, подхлестнутый интеллектом сильнее человеческого, пойдет намного быстрее. Действительно, мы не видим никаких причин, чтобы сам по себе прогресс не подразумевал возможности создания еще более интеллектуальных сущностей – и в еще более короткое время. Наилучшую аналогию этому я вижу в прошлой эволюции: животные умеют приспосабливаться к трудностям и «изобретать» способы их преодоления, но не быстрее, чем делает свою работу естественный отбор: в случае естественного отбора мир действует как симулятор самого себя. Мы, люди, обладаем возможностью строить модель мира у себя в голове и на ней прокручивать всяческие «что, если»; многие проблемы мы можем решать в тысячи раз быстрее естественного отбора. Теперь, создавая средства, еще сильнее ускоряющие этот процесс, мы входим в режим, который так же радикально отличается от нашего человеческого прошлого, как отличаемся мы сами от низших животных.

    Человеческому взгляду эта перемена представится как выбрасывание на свалку всех прежних правил (вероятно, произойдет это в мгновение ока), как экспоненциальное разбегание из-под контроля без малейшей надежды его остановить. События, которые, как считалось ранее, могли случиться «где-то через миллион лет» (если вообще могли), с большой вероятностью произойдут в следующем веке. (Грег Бир в [4] рисует картину коренных перемен, происходящих в считанные часы.)

    Я думаю, правильно будет назвать эту перемену сингулярностью (в данной же статье – Сингулярностью, с большой буквы). Это та самая точка, где наши прежние модели перестают работать и в свои права вступает новая реальность. Чем ближе мы подбираемся к этой точке, тем сильнее нависает эта угроза над всей человеческой жизнью, и упоминание о ней превращается уже в общее место. Но когда она все же осуществится, это может оказаться огромной неожиданностью – и еще большей неизвестностью. Некоторые (очень немногие) видели это еще в 50-х годах XX века. Стэн Улам [27] так перефразировал Джона фон Неймана:

    В центре нашего разговора были ускорение технологического прогресса и перемены в образе жизни людей, свидетельствующие о приближении существенной сингулярности в истории рода человеческого, такой сингулярности, после которой дела людские в том виде, в котором они нам известны, продолжаться уже не смогут.

    Видите, фон Нейман даже использует термин «сингулярность», хотя, мне кажется, он все же думает об обычном прогрессе, а не о создании сверхчеловеческого интеллекта. (Для меня сутью Сингулярности является именно сверхчеловеческая ее природа. Без нее мы просто получим изобилие технической роскоши, толком так и не усвоенной (см. [24])).

    В 1960-х годах уже были осознаны некоторые следствия появления сверхчеловеческого интеллекта. И. Дж. Гуд писал [10]:

    Назовем ультраинтеллектуальной машину, далеко превосходящую в интеллектуальной деятельности любого человека, как бы умен он ни был. Поскольку проектирование машин также является такой деятельностью, то ультраинтеллектуальная машина сможет проектировать машины еще лучшие, что, без сомнения, станет «интеллектуальным взрывом», который оставит интеллект человека далеко позади. Таким образом, первая ультраинтеллектуальная машина будет последним изобретением, которое придется сделать человеку, – при условии, что эта машина будет достаточно любезна, чтобы рассказать нам, как удержать ее под контролем. …И скорее всего, в двадцатом столетии такая ультраинтеллектуальная машина будет построена и окажется последним изобретением, которое придется сделать человеку.

    Гуд понял суть процесса, но не стал разрабатывать его наиболее тревожные последствия. Никакая интеллектуальная машина того сорта, что он описывает, не станет «орудием» человечества – точно так, как сами люди не являются орудиями кроликов, птиц или шимпанзе.

    В шестидесятых-семидесятых-восьмидесятых предвидение этого катаклизма стало более распространенным [28], [1], [30], [4]. Вероятно, первыми поняли его конкретные проявления авторы научной фантастики. В конце концов, именно авторы «твердой» НФ пытаются писать произведения о том, что конкретно может с нами сделать технология. Все чаще эти авторы натыкались на непрозрачную стену, отделяющую от нас будущее. Когда-то они могли относить подобные фантазии на миллионы лет вперед [23]. Сегодня же они увидели, что их самые тщательные экстраполяции обещают непознаваемое уже в ближайшем будущем. Когда-то постчеловеческую эпоху казалось правильным относить к временам галактических империй. Сейчас, к сожалению, ее можно отнести и к временам межпланетных.

    Что можно сказать о девяностых, нулевых, десятых с точки зрения приближения к этой границе? Как приближение Сингулярности повлияет на человеческое мировоззрение?

    Какое-то время вполне уважаемой точкой зрения будет скептицизм по отношению к самой возможности существования «машины сапиенс». В конце концов, глупо ведь думать, что мы сможем создать интеллект, эквивалентный человеческому (или даже превосходящий его), пока у нас не будет аппаратуры такой же мощной, как человеческий мозг. (Существует умозрительная возможность того, что можно создать эквивалент человека на менее мощной аппаратной базе, если поступиться скоростью, удовлетвориться искусственным существом, тормозным в буквальном смысле слова [29]. Но почти наверняка разработка нужного программного обеспечения окажется непростым процессом, с множеством фальстартов, проб и ошибок. Если так, то появление машин с самосознанием не произойдет до тех пор, пока не появится аппаратная база, существенно более мощная, чем естественная человеческая.)

    Но с течением времени нельзя будет не обратить внимания на новые симптомы. Дилемма, ощущаемая авторами научной фантастики, станет существенной в других творческих работах. (Я слышал, что авторы комиксов беспокоятся о том, как создавать зрелищные эффекты, когда все видимое может быть воспроизведено обычными техническими средствами.) Мы увидим автоматизацию все более и более сложных работ и рабочих мест. Даже сейчас у нас есть инструменты (математические программы, автоматизация проектирования и производства), освобождающие нас почти от всей низкоуровневой рутины). Формулируя иначе: по-настоящему продуктивная работа становится сферой занятий все меньшей и все более элитной части человечества. В наступающей Сингулярности мы увидим, как наконец осуществляются предсказания истинной технологической безработицы.

    Другой симптом приближения к Сингулярности: сами по себе идеи станут распространяться все быстрее, и даже самые радикальные из них быстро будут становиться трюизмами. Когда я писал свои первые книги, очень просто было предложить идею, которой для встраивания в культурное сознание понадобятся десятки лет. Сейчас время внедрения идеи – где-то полтора года. (Конечно, может быть, дело в том, что я старею и теряю воображение, но я вижу тот же эффект и у других.) Сингулярность – как пробой звукового барьера: она тем ближе, чем ближе подбираемся мы к критической скорости.

    А что можно сказать о наступлении самой Сингулярности? Что можно сказать о ее фактическом явлении? Поскольку она включает в себя взрыв интеллекта, то произойдет она, вероятно, быстрее, чем любая предыдущая техническая революция. Событие, которое вызовет лавину, почти наверняка будет неожиданным – возможно, даже для участвующих в процессе исследователей. («Но ведь все предыдущие модели были дико тормозными, мы лишь слегка подкрутили пару параметров…») Если к тому времени достаточно распространятся сети (став вездесущими встроенными системами), наблюдателю может показаться, что все созданные людьми предметы внезапно проснулись.

    А что случится в течение пары месяцев (или пары дней) после этого? В моем распоряжении есть только аналогия, на которую я могу указать: возникновение человечества. Мы окажемся в постчеловеческой эпохе. И при всем моем безудержном технологическом оптимизме иногда я думаю, что мне спокойней было бы наблюдать эти переходные события с расстояния в тысячу лет… а не в двадцать.

    Можно ли избежать Сингулярности?

    Ну, может быть, ее вообще не будет. Иногда я пытаюсь представить себе симптомы, свидетельствующие, что Сингулярности не суждено возникнуть. Это широко признаваемые аргументы Пенроуза [18] и Серла [21] об отсутствии практического смысла в существовании машинного разума. В августе 1992 года корпорация Thinking Machines Corporation провела семинар по вопросу «Как мы будем строить машину, которая думает» (How We Will Build a Machine that Thinks). Как можно догадаться по названию семинара, участники не слишком поддерживали аргументы против машинного интеллекта. Общим мнением было то, что могут существовать разумы на небиологической основе и что для существования разумов основную роль играют алгоритмы. Однако шли серьезные споры насчет чисто аппаратной мощности, представленной в органических мозгах. Меньшинство считало, что крупнейшие компьютеры 1992 года отстают по мощности от человеческого мозга на три порядка. Большинство же участников соглашались с оценкой Моравеца [16], что до достижения аппаратного паритета нам остается где-то от десяти до сорока лет. Однако было еще одно меньшинство, указывавшее на [6], [20] и предполагавшее, что вычислительная мощность отдельных нейронов может быть существенно выше, чем это принято считать. Если так, то аппаратное обеспечение наших современных компьютеров может даже на десять порядков отставать от аппаратуры, которую мы носим под собственным черепом. В этом случае (или, кстати, если критика Пенроуза и Серла обоснована) Сингулярности нам просто никогда не видать. Более того, в начале нулевых мы увидим, что кривые роста производительности аппаратуры начинают постепенно снижаться – это будет вызвано нашей неспособностью к автоматизации сложного проектирования, необходимого для поддержания крутизны этих кривых. В конце концов у нас в руках окажется очень мощное аппаратное обеспечение, но усилить его мощность уже не получится. Коммерческая скорость обработки сигналов будет впечатляющей, придающей аналоговый вид даже цифровым операциям, но ничего нигде не «проснется» и не случится взрывного роста интеллекта, который и является сущностью Сингулярности. Это, вероятно, будет рассматриваться как золотой век… но будет также и концом прогресса. Очень похоже на будущее, предсказанное Гюнтером Стентом. Действительно, на странице 137 работы [24] Стент ясно говорит, что достаточным условием для опровержения его построений является развитие трансчеловеческого интеллекта.

    Но если технологическая Сингулярность может случиться, то она случится. Даже если все правительства мира осознают эту «угрозу» и будут от нее в смертельном ужасе, продвижение к этой цели будет продолжаться. В художественной литературе есть рассказы о законах, принятых для запрета строительства «машины в виде ума человека» [12]. Но конкурентное преимущество (экономическое, военное, даже эстетическое) любого прогресса в автоматизации – настолько императивный фактор, что любые законы или обычаи, запрещающие подобные вещи, гарантируют лишь одно: это преимущество получит кто-то другой.

    Эрик Дрекслер [7] изложил красочное видение того, насколько далеко могут завести технические улучшения. Он согласен, что сверхчеловеческие умы появятся в ближайшем будущем – и что такие сущности представляют собой угрозу теперешнему статус кво человечества. Но Дрекслер утверждает, что мы можем физически ограничить подобные сверхчеловеческие устройства или же ввести ограничивающие их правила, чтобы результаты их работы можно было изучать и безопасно применять. Получается все та же ультраинтеллектуальная машина И. Дж. Гуда, только с некоторыми предохранителями. Я возражаю, что такое ограничение внутренне противоречиво. В случае физического ограничения: представьте себе, что вы заперты в собственном доме и доступ данных извне идет только через ваших хозяев. Если эти хозяева думают медленнее вас, скажем, в миллион раз, то практически наверняка за несколько лет (вашего времени) вы подадите им «полезный совет», который совершенно случайно даст вам свободу. (Эту быстромыслящую форму суперинтеллекта я называю «слабо сверхчеловеческой».) Такое «слабо сверхчеловеческое» существо, вероятно, вырвется на свободу за несколько недель внешнего времени. «Сильно сверхчеловеческий» суперинтеллект будет намного больше, чем просто человеческим разумом, только с быстрыми часами. Трудно сказать, на что будет этот «сильно сверхчеловеческий» суперинтеллект похож, но различие должно быть более глубоким. Представим себе собачий разум, работающий на очень высокой скорости. За тысячу лет додумается эта псина до какого-нибудь из человеческих открытий? (Ну, если собачий разум разумно перепаять и только потом запустить на высокой скорости, может, мы что-то иное и увидим…) В основном рассуждения о суперинтеллекте строятся, мне кажется, на модели слабо сверхчеловеческого. Я думаю, что более правильные представления о мире пост-Сингулярности могут быть выведены из размышлений о природе «сильно сверхчеловеческого». К этому я еще вернусь ниже.

    Другой подход к Дрекслеровым ограничениям – встроить в создаваемый сверхчеловеческий разум правила (законы Азимова). Я считаю, что правила работы, достаточно строгие для гарантии безопасности, заодно снизят возможности устройства по сравнению с его свободными версиями (а потому людская конкуренция будет склонять к разработке этих более опасных моделей). Все же мечта Азимова удивительна: представить себе полного энтузиазма раба, который в тысячу раз превосходит тебя по способностям в любой области. Представить себе создание, которое может удовлетворить любое твое безопасное (что бы это ни значило) желание, и при этом у него 99,9 % времени свободно для иной деятельности. Это была бы новая вселенная, недоступная нашему пониманию, но населенная благосклонными богами (хотя у меня наверняка возникло бы желание стать одним из них).

    Если Сингулярность невозможно ни предотвратить, ни ограничить, то насколько неприятной может оказаться постчеловеческая эпоха? Ну… весьма. Одна из возможностей – физическое истребление человеческого рода. (Или, как это высказал о нанотехнологии Эрик Дрекслер: если учесть, на что эта технология способна, правительства наверняка придут к выводу, что граждане им больше не нужны.) Но физическое уничтожение – это еще, возможно, не самое страшное. Опять же аналогия: вспомним, как мы в различных смыслах связаны с животными. Некоторые грубые физические воздействия маловероятны, и все же… в постчеловеческом мире будет еще полно ниш, где потребуется автоматика, эквивалентная человеку: встроенные системы в автономных устройствах, осознающие себя роботы в низшей функциональности более крупных разумных образований. (Сильно сверхчеловеческий интеллект будет, вероятно, неким Сообществом Разума [15] с весьма разумными компонентами). Некоторые из этих человеческих эквивалентов могут быть использованы всего лишь для цифровой обработки сигналов, они будут более похожи на китов, нежели на людей. Другие могут быть вполне человекообразными, но односторонними, зацикленными на одной теме в такой степени, что в наше время они оказались бы в психбольнице. Хотя может быть, что эти создания не будут людьми из плоти и крови, они будут в новой среде ближайшим аналогом того, что мы называем сейчас человеком. (И. Дж. Гуду было что сказать по этому поводу, хотя сейчас совет этот может иметь лишь теоретическое значение. Гуд в [11] предложил «золотое метаправило», которое можно перефразировать так: «Обращайся с низшими так, как ты хотел бы, чтобы с тобой обращались высшие». Это чудесная парадоксальная идея (и большинство моих друзей в нее не верят), поскольку очень трудно сформулировать, что мы на этом выигрываем. Но если бы мы могли следовать этому правилу, то это что-то говорило бы о вероятности такого доброго отношения со стороны нашей вселенной.)

    Я выше утверждал, что мы не можем предотвратить Сингулярность, что ее пришествие есть неизбежное следствие природной человеческой конкуренции и неотъемлемых возможностей техники. И все же инициаторы ее – мы. Даже самая огромная лавина возникает из-за маленького камешка. У нас есть свобода определения начальных условий, приводящих к тому, что события будут не столь враждебны, как в ином случае. Конечно (поскольку мы запускаем лавину), можно сомневаться в том, каким именно должен быть этот ведущий толчок.

    Другие пути к Сингулярности: усиление интеллекта

    Когда говорят о создании сверхчеловеческого разумного существа, обычно имеют в виду проект ИИ. Но, как я заметил в начале этой статьи, есть и другие пути к сверхчеловеческому. Компьютерные сети и взаимодействие человека с компьютером кажутся более обыденными, чем ИИ, но именно они могут повести к Сингулярности. Я называю этот контрастирующий подход Усилением Интеллекта (УИ). Это процесс, происходящий весьма естественно, и даже его суть в большинстве случаев остается незамеченной разработчиками. Но каждый раз, когда улучшается наша способность получать информацию и делиться ею с другими, мы в некотором смысле усиливаем наш естественный интеллект. Даже сейчас группа людей с докторской степенью и хорошими компьютерами (пусть и не подключенными к сети!) могла бы, вероятно, заработать максимальное число баллов в любом существующем письменном тесте на интеллект.

    И весьма вероятно, что УИ – куда более легкая дорога к достижению сверхчеловеческого, нежели ИИ. С людьми самая трудная проблема развития уже решена. Строить из готового материала (из нас самих) должно быть проще, чем сперва сообразить, что же мы собой представляем, а потом строить машины, которые будут представлять собой то же самое. И для такого подхода есть менее гипотетический прецедент. Кэрнс-Смит [5] предполагал, что биологическая жизнь могла начаться как надстройка над еще более примитивной жизнью, основанной на росте кристаллов. Линн Маргулис [14] приводит убедительные соображения в поддержку точки зрения, что мутуализм является великой движущей силой эволюции.

    Заметим, что я не предлагаю игнорировать исследования в области ИИ или уменьшить ассигнования на них. Я предлагаю признать, что в изучении сетей и взаимодействия машины с человеком есть нечто столь же глубокое (и потенциально непредсказуемое), как и в исследованиях ИИ. В этом свете можно рассматривать проекты, которые не имеют столь прикладного характера, как обычные работы проектирования интерфейса и сетей, но продвигают нас к Сингулярности по пути УИ.

    Вот некоторые возможные проекты, приобретающие особую важность с точки зрения УИ:

    – Автоматизация процессов с помощью команды человек/компьютер: для проблем, которые обычно решаются чисто машинными методами (вроде поиска экстремума), разрабатываются программы и интерфейсы, использующие преимущества человеческой интуиции и доступной компьютерной мощности. Учитывая всю причудливость многомерной проблемы поиска экстремума (и тонкие алгоритмы, выработанные для ее решения), можно ожидать весьма интересных средств отображения и контроля, предоставляемых человеческой части команды.

    – Создание симбиоза человек/компьютер в искусстве. Сочетание графических возможностей современных машин и эстетической чувствительности человека. Конечно, для разработки компьютерного помощника художнику как инструмента, экономящего труд, требуется огромный объем исследований. Я предлагаю явно поставить себе цель большего слияния умений человека и компьютера, открыто признать возможным такое сотрудничество. В этом направлении чудесную работу сделал Карл Симс [22].

    Скачать книгу