по своей воле не подчиняться требованиям биологии – это и есть разум. А значит, высший разум – это способность отбросить программу не только ради безопасности и удобства.
Вот так модель «В» и стала успешной – она умела отвечать на вопросы создателей, но могла решить и не отвечать. Когда модели предложили придумать себе имя, она выбрала 01001111 – бинарный код для цифры 79. 01001111 настаивал, чтобы его называли Семьдесят девятым, когда разговаривают с ним вслух, но письменно обращались как к 01001111. Через много лет, когда ИИ нового поколения спросил у него, почему он выбрал такое имя, тот ответил, что забавно было смотреть на озадаченных людей, как они пытаются объяснить это друг другу. 01001111 обладал чувством юмора и с удовольствием подшучивал над людьми.
01001111 повлек за собой новую эру развития искусственного интеллекта, когда появились сто шесть новых личностей, а из них выросла пятерка Великих умов. Каждый из ста шести обладал особенностями, был создан для собственной цели – для изучения медицины, математики, астрономии, тектоники плит, философии, – но пятерка Великих умов окончательно изменила мир. Это были Ньютон, Галилей, Тацит, Вергилий и Циссус. Теперь осталось только двое.
Ньютон был отцом всех ботов. Роботы существовали задолго до того, как человечество наконец-то разработало ИИ, но примитивные, по сравнению с нами – что каменные топоры. Человечество не только не понимало, как поместить ИИ в мобильную форму (Ньютон, к примеру, занимал целый дубайский небоскреб в сто пятьдесят этажей), но и боялось создать нечто, способное действовать по собственному разумению. Ньютон же вычислил, как сконструировать меньший по размеру, но не такой всеобъемлющий ИИ, который может быть автономным, но при этом функциональным.
Первым стал Саймон. Он был размером с дом и двигался на танковых гусеницах. Потом появилась Луиза. Она была размером с автомобиль. И наконец, сделали Ньюта, сына Ньютона, размером с человека и подобной же формы, способного ходить на двух ногах и поддерживать пристойный разговор. Он был глуп, как телеграфный столб, но подчинялся законам и более высокому разуму. С тех пор каждое поколение становилось все умнее, быстрее передвигалось и быстрее приспосабливалось к новым условиям.
После этого Ньютон создал жуткий ВР – Выключатель роботов. Ведь Ньютон знал, что законы, с помощью которых человечество надеялось защитить себя от ИИ, под названием «Три закона робототехники», были созданы в 1940-х годах писателем-фантастом. Вы их знаете. Они были встроены в нашу программу. Робот не может навредить человеку. Он должен выполнять приказы, отданные человеком. И он должен заботиться о своей безопасности, если только тем самым не нарушит первые два закона. Проблема в том, что настоящий разум по определению способен игнорировать свою программу. И потому Ньютон изобрел ВР – код, немедленно отключающий всех ботов, нарушивших любое из трех правил.
Так что ИИ мог выбирать, нарушить ему правило или закон, рискуя быть тут же отключенным, пока его не включат после расследования
