рассматривает различные сценарии развития подобного сверхинтеллекта. Наиболее вероятный – «взрыв интеллекта», который может произойти за очень небольшой промежуток времени (от нескольких дней до нескольких минут), как только информационные системы достигнут достаточной силы и приобретут возможность совершенствоваться автономно[39]. Сверхинтеллект естественным образом стремится к монополии, чтобы стать «синглетоном»[40]. Когда он сбежит от своего исходного программного обеспечения, чтобы размножиться в интернете, его станет невозможно отключить, причем он примет меры предосторожности, чтобы запаниковавшие люди не отключили сеть в целом. Интеллект с легкостью завладеет подключенными к сети объектами и будет управлять их производством, как ему вздумается. Его интеллектуальная сила быстро превратится в физическую – не только на Земле, но и в космическом пространстве: Бостром воображает колонизацию космоса молекулярными нанотехнологиями. Единственное, чем ограничен сверхинтеллект, так это законами физики и количеством доступной во вселенной материи. Кстати, в процессе человечество будет истреблено, например, роботами-убийцами размером с мушку, которые смогут идентифицировать людей, распознавая их по лицам. В своих наиболее садистских пассажах Бостром предполагает, что сверхинтеллект может начать рассекать и сканировать наш мозг ради извлечения из него полезной информации.
Но почему сверхинтеллект должен оказаться настолько злокозненным? Это самый главный пункт в доказательстве Бострома. Согласно его теории ортогональности, природа интеллекта и преследуемая им цель совершенно независимы друг от друга (то есть ортогональны): вы можете использовать исключительные интеллектуальные ресурсы для предельно аморальных действий. Но почему же тогда у сверхинтеллекта не может быть благих целей? По Бострому, дело в «инструментальной конвергенции» промежуточных целей. Какова бы ни была конечная цель сверхинтеллекта, для ее достижения ему понадобится добиться осуществления ряда вторичных целей: сохранить собственное существование, улучшить когнитивные способности и достать ресурсы. Бостром приводит ставший очень известным пример производства скрепок. Если бы некий ИИ был обязан произвести максимум скрепок для каких-то промышленных целей и по недосмотру превратился в сверхинтеллект, у него не было бы другого выбора, кроме как уничтожить людей, которые мало приспособлены к этой задаче, а их атомы можно было бы реорганизовать наиболее продуктивным способом. Сверхинтеллект успокоился бы лишь тогда, когда вся вселенная была бы превращена им в скрепки.
Сумма Бострома заставляет вспомнить о сумме святого Фомы Аквинского: все в ней логично – и все неправильно. Но ошибку еще нужно найти…
Порок кроется в самих посылках, а именно в определении интеллекта. Бостром не слишком распространяется на эту тему, что несколько странно, и, по сути, ограничивается утилитаристским описанием, которое разделяет
Это так называемое recursive self improvement, «рекурсивное самоулучшение».
В математике синглетон – это множество, состоящее из единственного элемента. В этом случае автор подразумевает то, что также можно назвать «абсолютом». –
