тенденцию оценивать вероятность по доступным примерам. Ваш недавний опыт влияет на ваш выбор, делая его иррациональным. Но не расстраивайтесь – так происходит со всеми, да и психологических искажений, аналогичных ошибке доступности, существует больше десятка.
Возможно, именно ошибка доступности не позволяет нам прочно связать искусственный интеллект с исчезновением человечества. Мы не пережили ни одного сколько-нибудь серьезного происшествия, причиной которого стал бы ИИ, тогда как другие возможные причины гибели человечества «засветились» уже достаточно сильно. Все мы слышали о супервирусах вроде ВИЧ, вирусе атипичной пневмонии или испанки 1918 г. Мы видели результат воздействия ядерного оружия на многолюдные города. Нас пугают геологические свидетельства падения астероидов размером с Техас в доисторические времена. А катастрофы на АЭС Тримайл-Айленд (1979 г.), в Чернобыле (1986 г.) и на Фукусиме (2011 г.) наглядно демонстрируют, что даже самые болезненные уроки приходится усваивать вновь и вновь.
Искусственный интеллект пока не входит в список экзистенциальных угроз человечеству; по крайней мере, мы пока не воспринимаем его в таком качестве. Опять же, наше отношение изменится после какого-нибудь серьезного происшествия, как события 11 сентября 2001 г. прочно внедрили в наше сознание представление о том, что самолет тоже может быть оружием. Та террористическая атака произвела революцию в системе безопасности воздушных перевозок и породила новую бюрократическую машину, которая обходится США в $44 млрд в год, – министерство внутренней безопасности. Но неужели для того, чтобы усвоить следующий урок, необходима катастрофа, связанная с ИИ? Надеюсь, что нет, поскольку с подобными катастрофами связана одна серьезная проблема. Они не похожи на крушения самолетов, ядерные или любые другие техногенные катастрофы; исключение, может быть, составляют нанотехнологии и катастрофы, связанные с ними. Дело в том, что человечество с высокой вероятностью не сможет оправиться после первого же подобного события.
Есть еще один принципиальный момент, в котором вышедший из-под контроля ИИ отличается от прочих техногенных происшествий. Ядерные электростанции и самолеты – оружие одноразового действия; событие происходит, и вы начинаете разбираться с последствиями. В настоящей ИИ-катастрофе действует умная программа, которая совершенствует сама себя и очень быстро воспроизводится. Она может существовать вечно. Как можем мы остановить катастрофу, если вызвавшая ее причина превосходит нас в сильнейшем качестве – интеллекте? И как можно разобраться с последствиями катастрофы, которая, раз начавшись, может продолжаться до бесконечности?
Еще одна причина примечательного отсутствия ИИ в дискуссиях об экзистенциальных угрозах состоит в том, что в темах, имеющих отношение к ИИ, доминирует сингулярность.
Слово «сингулярность» в последнее время модно употреблять по поводу и без повода, хотя у этого слова
