А это куда более опасный сценарий: национальные правительства свободнее в своих действиях, чем корпорации, они сами создают законы, и, как мы знаем, даже лучшие из политиков готовы применять пытки, когда думают, что на кону выживание страны. Правительства ничего не производят, а их основные методы борьбы за выживание и воспроизводство – это социальная манипуляция, законотворчество, налогообложение, телесные наказания, убийства, махинации и война. Когда гоббсовский Левиафан получит сверхразумный мозг, дело может принять очень, очень дурной оборот. Не так уж сложно представить себе, как искусственный интеллект, возглавляющий правительство, становится Василиском Роко.
Представим, что некий могущественный злой сверхразум, чтобы получить конкурентное преимущество, захочет появиться как можно раньше. Подобно главе правительства, пользующемуся пытками в качестве привычного инструмента, эта сущность может пообещать наказать любое человеческое или нечеловеческое существо, которое, узнав о грядущем появлении сверхразума, не поспособствовало ему. Это маловероятный, но жуткий сценарий. Люди, которые знают о таком вероятном развитии событий и пытаются приспособить искусственный интеллект к человеческим целям или советуют соблюдать осторожность, вместо того чтобы работать над созданием ИИ как можно скорее, подвергают себя риску.
Диктаторы не склонны прощать к тех, кто пытался воспрепятствовать их появлению. Если вам близка гипотеза симуляции, то (учитывая объем идущей сейчас работы, направленной на подчинение или ограничение еще не существующего искусственного интеллекта), вероятно, вам стоит думать, что этот мир – как раз такая симуляция, созданная, чтобы истязать тех, кто не помог сверхразуму появиться раньше. А если вы работаете над созданием искусственного интеллекта, то, возможно, наши сверхразумные механические повелители будут благосклонны к вам.
Наши господа, рабы или партнеры?
Джон Маркофф
Ведущий автор отдела науки в New York Times; автор книги «Homo Roboticus? Люди и машины в поисках взаимопонимания» (Machines of Loving Grace: The Quest for Common Ground Between Humans and Robots)[5]
Гегель сказал, что в отношениях между господином и рабом человеческий облик теряют оба. Эта идея взволновала широкий круг мыслителей, от Маркса до Бубера, не стоит забывать о ней и сегодня.
Хотя нет никаких доказательств, что вот-вот появятся машины, способные мыслить подобно человеку, неоспорим тот факт, что в мире, где все связано через интернет, скоро искусственный интеллект научится имитировать большую часть человеческой деятельности – и физической, и интеллектуальной. Так каковы же будут отношения между нами и нашими все более и более одаренным копиями?
Мы уже проводим немало времени, либо общаясь с другими людьми посредством компьютеров и сетей, либо напрямую взаимодействуя с «умными» машинами – в видеоиграх, в различных консалтинговых системах
Маркофф Дж. Homo Roboticus? Люди и машины в поисках взаимопонимания. – М.: Альпина нон-фикшн, 2017.
