приемы выигравших и кооптируются в предприятия победителей. Создание, которое будет построено de novo, может оказаться существенно более благожелательной сущностью, нежели то, у которого в основе поведения – когти и клыки. И даже вид равноправного Интернета, проснувшегося вместе со всем человечеством, может считаться кошмаром [25].
Проблема не в том, что Сингулярность представляет собой просто уход человечества с авансцены, а в том, что она противоречит нашим глубочайшим концепциям бытия. Я думаю, что более пристальное рассмотрение понятия «сильно сверхчеловеческого» может показать нам, почему это так.
«Сильно сверхчеловеческое» и лучшее, чего мы могли бы просить
Допустим, что мы можем скроить Сингулярность по своим меркам. Допустим, что мы можем воплотить самые причудливые свои надежды. Чего тогда мы будем просить: чтобы люди сами по себе стали своими наследниками, чтобы любая совершающаяся несправедливость была смягчена нашим знанием собственных корней? Для тех, кто останется неизмененным, целью будет хорошее обращение (может быть, даже придание оставшимся позади видимости повелителей богоподобных рабов). Это может быть золотой век, который при этом подразумевает прогресс (переход через барьер Стента). Бессмертие (или хотя бы долгожитие в течение того времени, пока мы не дадим вселенной погибнуть [9], [3]) тоже станет достижимым.
Но в этом самом светлом и самом добром мире пугающими становятся сами по себе философские проблемы. Ум, сохраняющий свою емкость, не может жить вечно: после нескольких тысяч лет он превращается из личности в закольцованную магнитную ленту (самую жуткую картину на эту тему я видел в [17]). Чтобы жить неопределенно долго, ум сам по себе должен расти… а когда он станет достаточно велик и оглянется назад… разве будет он чувствовать себя чем-то родственным тому, что было изначально? Конечно, это позднее существо будет всем тем, чем был когда-то оригинал, но и много чем еще. Таким образом, даже для индивидов наблюдение Кэрнс-Смита (или Линн Маргулис) о понятии постоянного роста, развитии новой жизни из старой должно оставаться верным.
Эта «проблема бессмертия» возникает и куда более прямыми способами. Для практичного рационализма последних веков фундаментом служит понятие «я» и самосознания. Но сейчас понятие самосознания находится под атакой со стороны разработчиков ИИ («самосознание и другие самообманы»). Усиление интеллекта подрывает важность «я» с иного направления. Постсингулярный мир будет включать в себя весьма высокоскоростные сети. Центральной чертой сильно сверхчеловеческих сущностей станет, вероятно, их способность общаться на различной широте полосы пропускания, в том числе на скоростях куда больших, чем нужно для речи или письменных сообщений. Что произойдет с фрагментами «я», когда их можно будет копировать и сливать, когда размер самосознания сможет расти или сокращаться в соответствии с решаемой задачей? А это ведь будут весьма существенные
