href="#n_1" type="note">[1]История создания языковых моделей, искусственного интеллекта и нейросетей прошла через множество этапов развития. Вот краткий обзор ключевых событий и достижений в этой области.
1950-е
Основы искусственного интеллекта были заложены в 1950-е годы, когда Алан Тьюринг опубликовал свою статью «Вычислительные машины и интеллект», предложив тест Тьюринга для определения интеллекта машины. В 1956 году на конференции в Дартмуте (США) была сформулирована концепция искусственного интеллекта.
1960-е
В это время появились первые искусственные нейронные сети, в частности перцептрон[2], разработанный Фрэнком Розенблаттом. Однако в 1969 году Марвин Минский и Сеймур Пейперт опубликовали книгу «Перцептроны», в которой указали на серьезные ограничения его архитектуры. Они доказали, что перцептроны не могут решать определенные задачи, такие как задача XOR (исключающее ИЛИ)[3]. Это привело к значительному снижению интереса к нейронным сетям и остановке развития данной области на некоторое время, этот период также называют «зима ИИ».
1970–1980-е
В это время искусственный интеллект развивался в основном за счет символьных подходов. Символьный подход в искусственном интеллекте – это направление, в котором модели ИИ строятся на основе представления знаний с использованием символов и формальных структур, таких как правила, фреймы и логические выражения. Этот подход также называется когнитивным или GOFAI (Good Old-Fashioned Artificial Intelligence – «старомодный искусственный интеллект[4]»).
Основная идея символьного подхода заключается в том, что знания можно представить в виде символов и манипулировать ими с помощью формальных операций.
Экспертные системы, такие как MYCIN и DENDRAL, стали демонстрировать значительный успех в решении специализированных задач.
1980–1990-е
В 1980–1990-е годы начали интересоваться идеей распределенной и параллельной обработки информации. Это означает, что множество частей информации обрабатывались одновременно, что было новым подходом в то время.
В 1986 году Румельхарт, Хинтон и Уильямс представили новый метод обучения для многослойных нейронных сетей (в частности перцептрона), называемый алгоритмом обратного распространения ошибки. Многослойные нейронные сети – это сложные структуры, состоящие из множества нейронов, которые работают вместе, чтобы обрабатывать информацию и делать прогнозы.
Алгоритм обратного распространения ошибки заключается в вычислении ошибки между предсказанием нейронной сети и реальным значением. Затем эту ошибку используют для корректировки «весов»[5] или связей между нейронами. Идея состоит в том, чтобы нейронная сеть становилась лучше с каждым шагом обучения.
В 1997 году компьютер Deep Blue от IBM победил мирового шахматного чемпиона Гарри Каспарова.
Перцептрон – это простейшая форма искусственной нейронной сети, которая может быть использована для бинарной классификации. Он состоит из одного или нескольких входных сигналов, взвешенной суммы этих сигналов и функции активации, которая определяет, будет ли передана выходная информация. В своей простейшей форме перцептрон может быть представлен как один нейрон с несколькими входами и одним выходом.
Задача XOR (исключающее ИЛИ) – это простая задача бинарной классификации, которая часто используется для иллюстрации ограничений однослойных нейронных сетей, таких как перцептрон. XOR – это логическая операция, которая принимает два бинарных входных значения (0 или 1) и возвращает 1, если входные значения различны, и 0, если они совпадают.
Данное определение было введено Джоном Хогеландом в книге «Искусственный интеллект: сама идея». –
Вес – это числовое значение, которое определяет силу связи между двумя нейронами или узлами в сети. Веса используются для моделирования того, насколько сильно один нейрон должен влиять на другой при передаче информации.
