mogło wesprzeć się armią robotów, swobodnie kontynuowałoby swoje mało popularne wśród społeczeństwa wojny, nie przejmując się tym, że maszyny nagle stracą motywację albo że ich rodziny zaczną urządzać antywojenne protesty. Gdyby Stany Zjednoczone miały zabójcze roboty podczas wojny w Wietnamie, być może zapobiegłoby to masakrze w Mỹ Lai, ale sama wojna mogłaby ciągnąć się jeszcze latami, ponieważ amerykańskie władze miałyby o wiele mniej zmartwień i nie musiałyby się borykać ze spadkiem morale u żołnierzy, masowymi demonstracjami pokojowymi czy z ruchem „robotów weteranów przeciwko wojnie”. Wprawdzie część obywateli wciąż mogłaby być przeciwna tej wojnie, ale nie istniałoby bezpośrednie zagrożenie, że zostaną na nią wysłani, że czeka ich niechybnie zespół stresu pourazowego czy że stracą w walkach kogoś bliskiego, toteż protestujących byłoby prawdopodobnie mniej i nie byliby tak zaangażowani69.
Tego typu problemy są dużo mniej istotne w wypadku autonomicznych pojazdów cywilnych, gdyż żaden producent samochodów nie będzie złośliwie programował swoich aut tak, by brały ludzi na celownik i ich rozjeżdżały. Bezzałogowe systemy uzbrojenia natomiast to wisząca w powietrzu katastrofa, ponieważ zbyt często zdarzają się rządy pod względem etycznym co najmniej zepsute, jeśli nie wręcz złe.
Niebezpieczeństwo nie ogranicza się do zabójczych maszyn. Równie groźne mogą być systemy monitoringu. W rękach łagodnych władz potężne algorytmy odpowiedzialne za obserwację obywateli mogą być najlepszą rzeczą, jaka kiedykolwiek spotkała ludzkość. Te same oparte na big data algorytmy mogą jednak również wzmocnić pozycję przyszłego Wielkiego Brata, w wyniku czego możemy dojść do opartego na inwigilacji orwellowskiego reżimu, w którym wszyscy są przez cały czas monitorowani70.
Ale może nam się przytrafić coś jeszcze gorszego – coś, czego nawet Orwell raczej sobie nie wyobrażał: reżim totalnej inwigilacji, który nie tylko śledzi wszystkie nasze zewnętrzne działania i wypowiedzi, ale gotów jest także – dosłownie – zaleźć nam za skórę i obserwować nasze wewnętrzne doznania. Zastanówcie się na przykład, co mógłby zrobić z użyciem nowych środków technicznych reżim Kima w Korei Północnej. W przyszłości każdy północnokoreański obywatel mógłby zostać zobowiązany do noszenia bransoletki biometrycznej, która kontrolowałaby wszystko, co robi i mówi – a także jego ciśnienie krwi i aktywność mózgu. Wykorzystując coraz lepsze rozumienie ludzkiego mózgu oraz ogromne możliwości uczenia maszynowego, północnokoreański reżim mógłby wiedzieć, co każdy bez wyjątku obywatel myśli w każdej bez wyjątku chwili. Jeśli u kogoś, kto spojrzy na zdjęcie Kim Dzong Una, czujniki biometryczne wychwyciłyby charakterystyczne oznaki złości (wyższe ciśnienie, wzmożoną aktywność w ciele migdałowatym) – nazajutrz rano taki człowiek znalazłby się w obozie koncentracyjnym.
Jasne, z powodu swej izolacji reżim północnokoreański może mieć kłopot z samodzielnym wypracowaniem techniki koniecznej do powstania takiego systemu. Jednak odpowiednie innowacje techniczne oraz technologie mogą zostać wynalezione i rozwinięte w bardziej zaawansowanych technicznie krajach, a następnie skopiowane lub kupione przez Koreę Północną i inne opóźnione w rozwoju dyktatury. Zarówno Chiny, jak i Rosja nieustannie udoskonalają swe narzędzia służące do inwigilacji. Podobnie postępuje zresztą także wiele państw demokratycznych, od Stanów Zjednoczonych po mój ojczysty kraj, Izrael. W nazywanym „krajem start-upów” Izraelu istnieje wyjątkowo żywotny sektor nowoczesnych technologii oraz nowatorski przemysł zajmujący się cyberbezpieczeństwem. Poza tym Izraelczycy są uwikłani w śmiertelny konflikt z Palestyńczykami i przynajmniej część izraelskich przywódców, generałów oraz obywateli zapewne z wielką radością utworzyłaby na Zachodnim Brzegu reżim totalnej inwigilacji, gdyby tylko dostała do ręki niezbędne środki techniczne.
Już dzisiaj jest tak, że ilekroć jakiś Palestyńczyk rozmawia przez telefon, wrzuca coś na Facebooka albo jedzie z jednego miasta do drugiego, z dużym prawdopodobieństwem można przyjąć, że będą go śledziły izraelskie mikrofony, kamery, drony albo oprogramowanie szpiegujące. Gromadzone w ten sposób dane są następnie analizowane za pomocą algorytmów opartych na big data. Pomaga to izraelskim siłom bezpieczeństwa lokalizować i neutralizować potencjalne zagrożenia bez konieczności wysyłania w teren dużych oddziałów wojska. Palestyńczycy sprawują wprawdzie władzę nad częścią miasteczek i wiosek na Zachodnim Brzegu, ale Izraelczycy kontrolują niebo, fale radiowe i cyberprzestrzeń. Dlatego do skutecznego nadzorowania mniej więcej dwóch i pół miliona Palestyńczyków na Zachodnim Brzegu wystarcza zadziwiająco niewielu izraelskich żołnierzy71.
W październiku 2017 roku doszło do pewnego tragikomicznego incydentu, kiedy to palestyński robotnik na swoim prywatnym profilu na Facebooku umieścił swoje zdjęcie przy pracy, pokazujące, jak stoi obok spychacza. Do zdjęcia dołączył tekst: „Dzień dobry!”. Automatyczny algorytm popełnił drobny błąd w arabskiej transliteracji. Zamiast Ysabechhum! (co znaczy poranne „Dzień dobry!”) algorytm rozpoznał te litery jako Ydbachhum! (co znaczy „Krzywdź ich!”). Podejrzewając, że ów człowiek może być terrorystą i zamierza użyć w ataku spychacza, izraelskie siły bezpieczeństwa szybko go aresztowały. Gdy zdano sobie sprawę, że algorytm popełnił błąd, niesłusznie podejrzanego mężczyznę zwolniono. Jednak kłopotliwy post na Facebooku został mimo to usunięty. Ostrożności nigdy za wiele72. To, czego zaznają dzisiaj Palestyńczycy na Zachodnim Brzegu, może być zaledwie zapowiedzią tego, czego będą ostatecznie doświadczać miliardy ludzi na całym świecie.
Pod koniec XX wieku państwa demokratyczne zazwyczaj zostawiały w tyle dyktatury, ponieważ były lepsze w przetwarzaniu danych. Demokracja rozprasza władzę przetwarzania informacji i podejmowania decyzji na wielu ludzi i wiele instytucji, podczas gdy dyktatura skupia informacje i władzę w jednym miejscu. Biorąc pod uwagę, jaką techniką dysponowano w XX wieku, to ostatnie rozwiązanie było całkowicie nieskuteczne. Nikt nie miał możliwości wystarczająco szybkiego przetwarzania wszystkich tych informacji oraz dokonywania właściwych wyborów. Jest to jeden z powodów, dla których Związek Sowiecki podejmował dużo gorsze decyzje niż Stany Zjednoczone, a sowiecka gospodarka była nieporównywalnie słabsza.
Niebawem jednak sztuczna inteligencja może diametralnie zmienić sytuację. SI umożliwia centralne przetwarzanie ogromnych ilości informacji. Co więcej, może ona sprawić, że scentralizowane systemy będą znacznie skuteczniejsze niż systemy rozproszone, ponieważ uczenie maszynowe działa tym lepiej, im więcej informacji może analizować. Jeśli skupia się w jednej bazie danych wszystkie informacje odnoszące się do miliarda ludzi, nie biorąc pod uwagę żadnych kwestii związanych z poszanowaniem prywatności, można znacznie lepiej szkolić algorytmy niż wówczas, gdy szanuje się prawo do prywatności i ma się w bazie danych jedynie częściowe informacje na temat miliona ludzi. Gdyby na przykład jakiś despotyczny rząd nakazał swoim obywatelom zbadanie swojego DNA oraz udostępnienie wszystkich danych medycznych jakiejś centralnej instytucji, zyskałby ogromną przewagę w genetyce i badaniach medycznych nad społeczeństwami, w których dane medyczne są sprawą ściśle prywatną. Główny mankament autorytarnych reżimów w XX wieku – próba skupienia wszystkich informacji w jednym miejscu – mógłby się stać ich decydującym atutem w XXI wieku.
Gdyby algorytmy znały nas tak dobrze, autorytarne rządy mogłyby zyskać absolutną władzę nad swymi obywatelami, większą nawet niż w nazistowskich Niemczech, a opór wobec takich reżimów mógłby być całkowicie niemożliwy. Taki reżim nie tylko wiedziałby dokładnie, co każdy z nas czuje, lecz także mógłby sprawić, że nasze uczucia byłyby zgodne z tym, czego
N.E. Sharkey,
B. Schiller,
Y. Berger,
