общественные договоры.
Будущее военной сферы еще сложнее. Если армии примут на вооружение стратегию и тактику, сформированные ИИ, ход мыслей которого непонятен людям – военным и стратегам, соотношение сил изменится и его будет сложнее определить. Если такие машины получат возможность самостоятельно принимать военные решения, будут нарушены и потребуют адаптации традиционные концепции обороны и сдерживания, а также законы войны в целом.
На этих примерах особенно хорошо видно, какие барьеры появятся между социальными группами и странами, которые станут применять различные ИИ или не сделают этого. Если разные группы или государства используют разные ИИ, их способы восприятия реальности могут разойтись в непредсказуемых направлениях. По мере развития различных способов партнерства человека и машины – с разными целями, разными моделями обучения и разными практическими и этическими ограничениями в отношении ИИ – это может привести к росту конкуренции, технической несовместимости и взаимонепонимания. В результате технология, которая изначально считалась инструментом преодоления национальных различий и распространения объективной истины, со временем может стать причиной тотального отчуждения стран и народов.
Показательный пример – AlphaZero. Эта система доказала, что ИИ больше не ограничен пределами человеческих знаний – во всяком случае, в играх. Разумеется, ИИ AlphaZero, основанный на машинном обучении так называемых глубоких нейронных сетей, имеет свои ограничения. Но машины находят все больше решений, выходящих за рамки человеческого воображения. В 2016 г. компания DeepMind Applied, входящая в DeepMind, разработала ИИ (во многом родственный AlphaZero) для оптимизации охлаждения центров обработки данных Google. Над этой задачей уже работали лучшие инженеры мира, но ИИ DeepMind еще больше оптимизировал охлаждение, дополнительно сократив энергозатраты на 40 %. Это огромное улучшение по сравнению с человеческой производительностью[7]. Когда при помощи ИИ будут достигнуты сопоставимые прорывы в различных областях деятельности, мир неизбежно изменится. Результатом будет не просто более эффективное решение человеческих проблем – на многих открытиях ИИ будет лежать печать нечеловеческого обучения и мышления.
Как только производительность ИИ при выполнении той или иной задачи превзойдет человеческую, отказ от применения ИИ хотя бы в качестве дополнения к человеку будет восприниматься как признак недальновидности, халатности и даже саботажа. Но одно дело шахматист, которому ИИ посоветовал пожертвовать ценной фигурой (в этом нет ничего смертельно опасного), и совсем другое – главнокомандующий, которому ИИ порекомендует пожертвовать значительным числом сограждан, чтобы спасти (по расчетам ИИ) еще больше людей. На каком основании эту жертву можно было бы отменить и была бы эта отмена оправдана? Всегда ли люди будут знать, какие расчеты произвел ИИ? Смогут ли люди обнаружить ошибочное решение ИИ и вовремя
Richard Evans, Jim Gao, «DeepMind AI Reduces Google Data Centre Cooling Bill by 40 %», DeepMind (20 июля 2016 г.), https://deepmind.com/blog/article/deepmind-ai-reduces-google-data-centre-cooling-bill-40, ссылка проверена 1 марта 2022 г.
