психолог Томас Хиллс полагает, что алгоритмы тоже могут совершать ошибки, поскольку они иногда воспринимают особенности окружения, которые коррелируют с итоговым результатом, хотя не имеют с ним причинно-следственной связи. В мире алгоритмов это называется переобучением. Когда это происходит, мы называем это суеверием.
На практике, пишет Хиллс, алгоритмы часто представляют собой проприетарные черные ящики, обновление которых запрещается законами коммерции. В книге «Оружие массового поражения» Кэти О’Нил от 2016 года описывается истинный парад уродов, составленный из коммерческих алгоритмов, чьи хитрые патологии портили людям жизнь. Особенно интересны алгоритмические разломы, разделяющие богатых и бедных. Бедные люди с большей вероятностью будут иметь проблемы с кредитом, жить в местах с повышенным уровнем преступности, в окружении других бедных людей с похожими проблемами. Из-за этого алгоритмы выбирают этих людей в качестве целей обманчивой рекламы, питающейся их отчаянием, предлагают им субстандартные займы, отправляют в районы их проживания больше полицейских, увеличивая вероятность того, что полиция задержит их за совершение преступлений, которые происходят с той же частотой и в более богатых районах. Алгоритмы, используемые системой правосудия, назначают таким людям большие сроки, уменьшают их шансы на условно-досрочное освобождение, блокируют для них вакансии, увеличивают проценты по ипотеке, требуют большие взносы за страховку и т. д.
Этот алгоритмический замкнутый круг скрыт в матрешках, состоящих из черных ящиков: алгоритмы-черные ящики, прячущие процесс обработки в своих мыслях высших измерений, к которым у нас нет доступа, спрятаны в черных ящиках проприетарных прав на алгоритмы.
Алгоритмы, тренируясь на человеческих данных, приобретают и наши искажения. В исследовании под руководством Айли Калискан из Принстонского университета было обнаружено, что алгоритмы, тренирующиеся на новостях, очень быстро приобретают расовые и половые предубеждения. Как отметила Калискан: «Многие люди считают, что у машин нет предубеждений. Но машины тренируются на человеческих данных. А у людей предубеждения есть».
Алгоритмы, проводящие много времени в соцсетях, быстро становятся слепыми фанатиками. Они приобретают предубеждения против медбратьев и женщин-инженеров. Они неправильно воспринимают такие проблемы, как иммиграция и права меньшинств[21].
Лондонская компания DeepMind в феврале 2018 г. опубликовала статью на arXiv – хранилище научных документов, в которой предлагается новый способ построения алгоритмов без дискриминации людей по гендерным, расовым и другим «чувствительным» признакам. Статья под заголовком «Контрфактическая справедливость в принятии решений» была представлена научными сотрудниками DeepMind Сильвией Кьяппой и Томасом Гилланом. В ней говорилось о том, насколько важно понимание сложных механизмов, на основании которых
