это уже большой риск. Очевидны преимущества ИИ: он может порекомендовать новые полезные продукты быстрее, чем ты их заметишь; присоветовать совместимые варианты романтических партнеров и друзей – исходя из того, что ему известно о твоих нынешних близких. Но у такой осведомленности, безусловно, имеется и обратная сторона.
С вами когда-нибудь бывало такое: садишься посмотреть на YouTube одно видео и застреваешь на три часа? Или проходишь в Facebook по какой-то более-менее провокационной ссылке, а тебе тут же рекомендуют куда более экстремальный контент?
В киноленте «Социальная дилемма»[21] наглядно показано, как непревзойденные способности ИИ в деле персонификации позволяют ему манипулировать нами, а мы даже не осознаем этого. Звезда фильма Тристан Харрис, президент и соучредитель Центра гуманитарных технологий и специалист по этике технологий, так высказался по этой проблеме: «Тебе и невдомек, что твой клик нацелил суперкомпьютер на твой мозг. Он активировал миллиарды долларов вычислительной мощности, которая очень многому научилась на своем опыте заманивания двух миллиардов человеческих существ снова и снова кликать мышью».
Эта зависимость затягивает нас в порочный круг. Он весьма выгоден крупным интернет-компаниям, будучи своего рода станком для печати денег. Еще в фильме утверждается, что все это зачастую резко сужает мировоззрение, поляризует общество, искажает истину и негативно влияет на настроение и психическое здоровье.
Говоря техническим языком, суть проблемы заключается в простоте целевой функции и в опасности бездумной оптимизации целевой функции по одному критерию, так как это способно привести к вредоносным внешним эффектам. Сегодня ИИ обычно оптимизирует единственный критерий – и чаще всего для того чтобы получить больше (кликов, рекламы, доходов). ИИ маниакально сосредоточен на этой корпоративной цели и ничуть не заботится о благополучии пользователей.
В нашей истории «Золотой слон» Ganesh Insurance обещает потенциальным клиентам минимизировать страховые взносы, что в значительной степени коррелирует с минимизацией выплат по медицинскому страхованию и, следовательно, с улучшением здоровья застрахованных. На первый взгляд это подразумевает совпадение корпоративных целей с целями пользователей.
Однако в рассказе ИИ этой страховой компании определяет, что отношения между Наяной и Сахеджем с большой степенью вероятности приведут к увеличению страхового взноса семьи Наяны, и потому изо всех сил старается помешать их зарождающейся любви.
ИИ Ganesh Insurance предобучен находить причинно-следственные связи. Он может обнаружить повышенный риск заболеваний, связанных с курением, и, следовательно, будет пытаться отвратить человека от этой вредной привычки; и это хорошо. Но, руководствуясь узконаправленным анализом данных, ИИ может заставить приложение увеличить страховые взносы из-за потенциального романтического союза. Таким образом, умозаключения ИИ приводят к действиям, которые разрывают
Документальный фильм с элементами игрового кино (режиссер Дж. Орловски, 2020).
