тренд в работе нейронных сетей с естественным языком – это использование так называемых языковых моделей. Берётся огромная пустая нейронная сеть, и ей скармливается огромное/gargantuan число самых разных текстов на всех доступных языках (википедия там только маленькая часть). В этих текстах отражены какие-то свойства языков в целом (кормят текстами отнюдь не только одного языка), а также свойства мира (ибо все эти тексты о чём-то в мире, речь не идёт о фантастике и сказках). Нейронная сетка выучивает из всех этих текстов что-то общее про языки и мир. Это называется pretrain, предобучение. И занимает это предобучение довольно много времени и денег – одна предобученная языковая модель на середину 2020 года может обходиться в десятки миллионов долларов56. Бакалавриат для нейронных сетей весьма недёшев.
Предобучение даёт нейронной сети какие-то знания о языке и мире, но языковая модель сама по себе не может при этом решать никаких прикладных задач. Про задачи и конкретные предметные области эта сеть ничего не знает. Так что потом идёт finetune, подстройка: берётся эта безумно дорогая языковая модель и очень быстро и дёшево доучивается решать одну или даже десять разных прикладных задач. Фишка в том, что дорогое предобучение делается один раз, а потом подстройка делается легко и быстро каждый раз.
За последний год такой подход предобучения + настройки стал мейнстримом в AI57. Для очень больших и поэтому очень дорогих языковых моделей подстройка идёт ещё быстрей и дешевле – на подстройку сети нужно давать в десятки и сотни раз меньше данных, предобученная большая сеть оказывается не такой уж тупой58.
В бакалавриатах по всей планете занимаются предобучением нейронной сети человека. Это предобучение формирует у студентов самые общие фундаментальные знания о мире. Язык-другой ко времени прохождения бакалавриата все уже знают, текстов прочли много, именно языковой модели учить не нужно, но вот надёжной и компактной модели мира и себя, паттернов эффективного мышления у большинства людей нет – вот им и учат, предобучают «мокрую нейросетку» студентов. При этом ещё и хорошо структурируют материал, что в мире AI только-только собираются делать с использованием графов знаний/knowledge graphs или других символьных методов. С людьми тут проще, это же не изначально тупые компьютеры!
Получение прикладного (инженерного, менеджерского, предпринимательского, врачебного, педагогического и т.д.) мастерства на базе предобучения – это лёгкая и быстрая подстройка, она делается в магистратуре. И чем тщательней выполнено предобучение, тем проще идёт подстройка.
По факту речь идёт о чём-то типа операционной системы для аппаратуры мозга. Предобучение – это прошивка, оживляющая аппаратуру мозга какой-то версией модели мира, какими-то фундаментальными знаниями, пригождающимися во многих проектах, помогающими ориентироваться в командной работе. И после такой прошивки
Pretrain then Finetune: A New Paradigm for NLP – https://www.mihaileric.com/posts/nlp-trends-acl-2019/
