сейчас.
3. Рекурсивный. Такие технологии, как ИИ, когнитивные вычисления и глубокое обучение, смогут в дальнейшем привести к рекурсивным (т. е. самоусилительным) усовершенствованиям (т. е. усовершенствованиям систем самих себя). Уже можно, к примеру, наблюдать первых роботов, которые могут сами себя обновлять и перепрограммировать и контролировать состояние энергосети, от которой зависит их функционирование. Все это может привести к так называемому взрыву интеллекта. Профессор Оксфордского университета Ник Бостром утверждает, что подобный прогресс может привести к возникновению суперинтеллекта – систем ИИ, которые смогут обучаться быстрее людей и интеллектуально превзойти нас во всех смыслах14. Если мы можем создать ИИ с уровнем IQ 50, что же остановит нас от разработки ИИ с IQ 50 000 и что произойдет, если мы это сделаем?
К счастью, суперинтеллект еще не является предметом для беспокойства в нашем ближайшем будущем. Однако у нас и без него проблем хватает: отслеживание нашей жизни в интернете, скрытые камеры повсеместно, ослабление конфиденциальности, потеря анонимности, хищение электронных личных данных, цифровая безопасность. Поэтому я и считаю, что основа для будущего (оптимистичного или антиутопического) закладывается здесь и сейчас.
Мы находимся на критически важном этапе и должны целостно оценивать ситуацию и проявлять большую дальновидность в наших действиях, осуществляя строгий надзор за технологиями, которые могут в дальнейшем получить над нами бо́льшую власть, чем мы могли себе представить.
Мы больше не можем позволить себе существовать по принципу «поживем – увидим», если и дальше хотим сохранять контроль над своей жизнью и ее развитием. Вопрос, заслуживающий нашего внимания, заключается в том, чтобы оставаться и в будущем людьми, пока мы будем заниматься развитием технологий, изменяющим человечество навсегда.
Мы не должны позволять свободным рынкам, предпринимателям и военным организациям принимать решения за нас. Будущее человечества не должно строиться в соответствии с устаревшими порядками индустриального общества восьмидесятых годов, в котором за высшее благо почитались прибыль и рост любой ценой. Несмотря на то что технологии являются источниками огромных доходов и генерируют значительную прибыль, ни Кремниевая долина, ни наиболее технологизированные страны не должны становиться «центром управления человечества».
К счастью, в настоящее время еще соблюдается принцип 90/10: 90 % возможностей, которые открывают нам новые технологии, могут пойти на пользу человечеству, в то время как лишь 10 % уже оцениваются как негативные и вызывают беспокойство. Если нам удастся и дальше сохранить этот баланс или даже поднять соотношение до 98/2, то наши усилия будут не напрасны. В то же время эти проблемные 10 % могут быстро возрасти до 50 % (например, по неосторожности) или выше, если мы не придем к согласию по поводу того, как именно будем использовать технологии на благо человечества. Как видим, сейчас точно
