Ю. А. Сорокиным и Е. Ф. Тарасовым [Сорокин, Тарасов, 1990], далее поддержан в работах Е. Е. Анисимовой [Анисимова, 2003], А. А. Бернацкой [Бернацкая, 2000], М. А. Бойко [Бойко, 2006], М. Б. Ворошиловой [Ворошилова, 2007] и других исследователей. Это «тексты, фактура которых состоит из двух негомогенных частей: вербальной (языковой/речевой) и невербальной (принадлежащей к другим знаковым системам, нежели естественный язык)» [Сорокин, Тарасов, 1990: 180–181]. Примером креолизованных текстов могут служить иллюстрации с сопровождающими их вербальными сообщениями или экстралингвистические особенности выступлений политических деятелей, такие как повышение тембра голоса, ускорение речи или четкое произнесение каждого слова и т. д.
В зарубежных исследованиях для обозначения текстов, объединяющих разные семиотические компоненты, используется термин «мультимодальный текст», а анализ рисунков и других неречевых аспектов коммуникации известен как мультимодальный анализ. Эта относительно новая сфера изучения дискурса известна под разными терминами (multimodality, multimodal analysis, multimodal semiotics, multimodal studies, multimodal discourse analysis) [O’Halloran, 2011]. К. Л. O’Хэллоран и Б. A. Смит отмечают, что мультимодальный анализ предполагает анализ коммуникации во всех ее формах, но в особенности занимается текстами, которые содержат взаимодействие и внедрение двух или более семиотических ресурсов – или «модусов» коммуникации, – необходимых для того, чтобы реализовать коммуникативные функции текста [O’Halloran, Smith, 2010]. Под модусом понимается социально сформированный и культурно обусловленный ресурс для создания смыслов [Kress, 2009: 54]. Семиотические ресурсы включают такие аспекты речи, как интонация и другие характеристики звучания; семиотическое действие физических ресурсов (лицо, рука, тело) и проксемику; а также продукты человеческого производства, как, например, гравировка, рисунок, письмо, архитектура, изображение или звуковая запись; и в более современную эпоху – интерактивные компьютерные ресурсы [O’Halloran, Smith, 2010]. Для того чтобы избежать разногласий в терминологии, в своей работе мы будем использовать термины «мультимодальный текст» (понимая его как синоним понятию «креолизованный текст» и допуская его в ссылках на отечественных ученых) и «мультимодальный анализ».
Для обозначения невербальной части текста исследователи обращаются к таким понятиям, как «иконический компонент», «невербальный компонент», «паралингвистические средства», «мультимодальные средства», «визуальные средства», «семиотический ресурс». В своей работе мы принимаем термин «визуальные средства», ссылаясь на трактовку Н. Фэрклафа, согласно которой под визуальными средствами (visuals) подразумеваются все невербальные компоненты, которые либо сопровождают вербальную часть дискурса, либо выступают самостоятельно. Использование именно этого термина автор объясняет тем, что невербальные средства воспринимаются участниками общения визуально [Fairclough, 2001: 23].
Е. Е. Анисимова разделяет невербальные семиотические средства на те, которые имеют языковую основу
