перепрограммировать так, чтобы убивать генералов. Соответственно, даже планы обороны могут быть агрессивными, что доказывает пример Стратегической оборонной инициативы (СОИ) Рональда Рейгана. В СОИ, получившей известность как «Звездные войны», должны были использоваться космические лазеры, которые бы сбивали советские ракеты. Если бы эта программа была внедрена, хрупкое равновесие сдерживания (обеспечиваемое гарантированным взаимным уничтожением ядерным оружием) было бы нарушено. АСОЛД, автоматические кибератаки и кампании по дезинформации – сегодня все это грозит подорвать давно сложившиеся ожидания, определявшие цели и границы международного конфликта. Мы должны найти новые способы ограничить их развитие и влияние.
Война поначалу может предстать исключительным положением, во время которого обычные этические аргументы перестают работать (или, по крайней мере, существенно ограничиваются). Однако третий новый закон робототехники применим и за пределами поля боя. Технологии, разрабатываемые в армии, также привлекают полицию, и все больше людей, занятых в области общественного порядка, стремятся использовать распознавание лиц для сканирования толпы в поисках преступников. Опираясь на методы машинного обучения, налоговые органы стремятся выявлять незадекларированные доходы путем анализа электронной почты и банковских счетов всех граждан. Сама возможность столь совершенного надзора заставит людей, обеспокоенных безопасностью, вкладываться в шифрование, которое, в свою очередь, будет подталкивать власти бросать все больше ресурсов на расшифровку.
Нам нужно найти способы сдерживания подобной динамики – и не только в военных и полицейских сценариях. Инвестирование в ИИ и робототехнику часто оказывается частью состязания за определенный набор ресурсов, например, в судопроизводстве, финансах и других областях, где люди конкурируют за позиционные преимущества. Для распределения таких ресурсов государство и корпорации создают для граждан и клиентов репутационные соревнования, в частности рейтингование, которое имеет значение в той мере, в какой позволяет пристыдить определенных людей (с низкими баллами) и превознести других (с высокими). Вначале кредитный рейтинг ограничивался одной областью жизни (определением кредитоспособности) и основывался на ограниченном множестве данных (истории выплат по кредитам). Но спустя десятилетия рейтинги и другие похожие оценки стали определять иные возможности, включая ставки страхования и возможности найма. В последнее время специалисты по сбору информации предложили еще больше источников данных для кредитного рейтинга, начиная с того, как люди печатают на клавиатуре, и заканчивая их политическими взглядами или сайтами, которые они посещают. Китайское правительство значительно расширило задачи подобного контроля, сделав так, что «социальный рейтинг» стал играть роль в определении того, на каких поездах или самолетах гражданин может передвигаться, в каких гостиницах останавливаться
