даже если называемые сроки неверны. Нас застанут врасплох. Нам будет казаться, что ничего не происходит, и мы не заметим, как компьютеры вдруг станут умнее нас”.
Если это действительно произойдет, “нас отодвинут в сторону. Мы превратимся в пережитки прошлого. Мы останемся ни с чем. Может, это и правда случится, но я не хочу, чтобы это случилось в ближайшее время. Я не хочу, чтобы мои дети остались ни с чем”.
Хофштадтер завершил свое выступление прозрачным намеком на тех самых инженеров Google, которые собрались в переговорной и внимательно слушали: “Меня очень пугает, очень тревожит, очень печалит, а также ужасает, шокирует, удивляет, озадачивает и обескураживает, что люди очертя голову слепо бегут вперед, создавая все эти вещи”.
Почему Хофштадтер испуган?
Я огляделась. Казалось, слушатели озадачены и даже растеряны. Исследователей ИИ из Google ничто из перечисленного ничуть не пугало. Более того, это были дела давно минувших дней. Когда Deep Blue обыграл Каспарова, когда ЭМИ начала сочинять мазурки в стиле Шопена и когда Курцвейл написал первую книгу о сингулярности, многие из этих инженеров учились в школе и, возможно, читали “ГЭБ” и восхищались ею, несмотря на то что многие из приводимых в ней прогнозов развития ИИ к тому времени несколько устарели. Они работали в Google как раз для того, чтобы сделать ИИ реальностью, причем не через сотню лет, а сейчас – и как можно скорее. Они не понимали, что именно так сильно беспокоит Хофштадтера.
Люди, работающие в сфере ИИ, привыкли сталкиваться с опасениями людей со стороны, которые, вероятно, сформировали свои представления под влиянием научно-фантастических фильмов, где сверхразумные машины переходят на сторону зла. Исследователям ИИ также знакомы тревоги, что всё более сложные системы ИИ будут заменять людей в некоторых сферах, что при использовании в анализе больших данных ИИ будет нарушать конфиденциальность и потворствовать скрытой дискриминации, а также что неудачные системы ИИ, самостоятельно принимающие решения, будут сеять хаос.
Но Хофштадтера ужасало иное. Он боялся не того, что ИИ станет слишком умным, слишком вездесущим, слишком вредоносным или слишком полезным. Он боялся, что разум, творчество, эмоции и, возможно, даже сознание станут слишком просто воспроизводимыми, а следовательно, все те вещи, которые он особенно ценит в человечестве, окажутся не более чем “набором хитростей” и примитивный набор алгоритмов “грубой силы” сможет объяснить человеческую душу.
Как видно из “ГЭБ”, Хофштадтер твердо верит, что разум и все его характеристики в полной мере проистекают из физической среды мозга и остального тела, а также из взаимодействия тела с физическим миром. Здесь нет ничего нематериального или бесплотного. Хофштадтер беспокоится о сложности. Он боится, что ИИ может показать нам, что человеческие качества, которые мы ценим больше всего, очень просто механизировать. После встречи Хофштадтер пояснил мне, рассуждая о Шопене,
