Stable Diffusion);
алгоритмы для игры в покер и другие игры с неполной информацией, превосходящие сильнейших игроков-людей (Pluribus, ReBeL);
самообучающиеся модели языка, способные к связному диалогу и рассуждению (GPT-4, LaMDA, RETRO);
нейросетевые ассистенты для программирования, автоматически генерирующие и исправляющие код (GitHub Copilot, AlphaCode).
Этот список можно продолжать долго, он пополняется буквально каждую неделю. Глубокое обучение совершило переворот в ИИ, продемонстрировав, что компьютеры способны решать задачи, которые раньше считались под силу только человеку, причем нередко делать это лучше и быстрее нас.
В то же время, нейросети при всей своей мощи и эффективности имеют и ряд серьезных ограничений и проблем. Один из их главных недостатков – непрозрачность работы. Если обычные МО-алгоритмы принимают решения на основе довольно понятных и интерпретируемых правил и признаков, то обученные нейросети являются типичным примером «черного ящика». Мы видим их впечатляющие результаты, но зачастую совершенно не понимаем, как они были получены, на что конкретно опиралась сеть в своем решении. Это порождает проблемы контроля, доверия, отладки таких систем.
Другая трудность – зависимость качества обучения нейросети от объема и качества данных. Для достижения хороших результатов современным нейросетям нужны действительно гигантские дата-сеты, на несколько порядков больше, чем требовалось классическим МО-алгоритмам. А качество этих данных должно быть очень высоким, поскольку нейросети склонны улавливать и усиливать малейшие закономерности и шумы в обучающей выборке. Сбор, разметка, очистка таких данных – сложный и дорогостоящий процесс.
Наконец, обученные нейросети недостаточно гибки и плохо обобщаются на данные, сильно отличающиеся от обучающих примеров. Если алгоритму распознавания котов показать картинку собаки, он с высокой вероятностью отнесет ее к котам, поскольку собак он никогда не видел. В то время как человек легко перенесет однажды выученный концепт «домашнего питомца» на новый объект. Пока нейросети не умеют учиться быстро и переносить знания между задачами, как это делаем мы.
Впрочем, стремительный прогресс глубокого обучения не останавливается ни на минуту, и многие из этих ограничений постепенно преодолеваются. Разрабатываются подходы для создания более прозрачных и объяснимых нейросетей, алгоритмы переноса обучения и мета-обучения, техники работы с малыми и несбалансированными выборками. Недавние прорывы в обучении огромных языковых моделей на гигантских массивах текстовых данных привели к неожиданной реакции – появлению у них свойств и способностей (таких как здравый смысл, логический вывод, объяснение своих действий), которым их никто явно не обучал. Это уже очень близко к так называемому "сильному" или "общему" ИИ (Artificial General Intelligence, AGI) – то есть интеллекту, по гибкости и универсальности сравнимому с человеческим. Многие исследователи считают, что глубокое обучение в сочетании с идеями
