возможности обработки текстов в сочетании с глобальной оцифровкой всего – от сопроводительных писем до разговоров – произвели революцию в инструментах языкового анализа и дали бесценные результаты.
Я начал использовать автоматический анализ текста случайно. Будучи профессором, в середине 2000-х я читал лекции студентам первого курса в Уортонской школе бизнеса при Университете Пенсильвании и занимался исследованиями, целью которых было понять, почему одни явления приживаются в обществе, а другие – нет. Нас интересовало, по какой причине об одних вещах люди говорят и делятся информацией о них, а с другими вещами этого не происходит.
Я собрал архив из тысяч текстовых материалов, опубликованных в The New York Times, начиная от передовиц и мировых новостей и заканчивая спортивными событиями и светской хроникой. Многие из этих статей люди с интересом читали, но лишь часть из них попала в число самых пересылаемых по электронной почте (соответствующий учет велся на сайте). Мы решили выяснить причину.
Для этого предстояло установить, почему тот или иной контент способен стать вирусным. Быть может, дело в том, что статья расположена на первой полосе газеты и потому привлекает больше внимания? Мы изучили, какие разделы интересны большему количеству читателей и у каких авторов больше аудитория. Мы также задались вопросом, может ли определенный стиль изложения вызывать интерес и подталкивать читателей делиться статьями чаще. Чтобы понять это, необходимо было составить список критериев: например, какие эмоции вызывает статья или сколько полезной информации она содержит.
Все началось с набора научных сотрудников. Студенты, заинтересовавшиеся исследованием, обращались ко мне по электронной почте с вопросом, могут ли они помочь. Каждому предлагалось оценить статью и отметить, какие эмоции она вызвала прежде всего – сильные или слабые.
Этот метод работал довольно неплохо, по крайней мере в самом начале. Число оцененных статей возросло до нескольких десятков, однако для тысяч материалов тактика оказалась нерабочей. Чтение статьи занимает какое-то время, а чтение многих статей – много времени. Мы привлекли больше сотрудников, но процесс все равно оставался трудоемким и медленным. К тому же людей стало так много, что возникали сомнения в достоверности результатов. Одному статья могла показаться интересной и вызвать у него сильные эмоции, а другому – нет. Меня тревожило, что это помешает сделать объективные выводы.
Нужен был другой способ, подходящий для более масштабных исследований и дающий результат, которому можно доверять. Этот способ должен был добывать данные без привлечения большого количества людей, которые со временем уставали и теряли интерес.
Я поговорил с коллегами, и кто-то из них предложил компьютерную программу Linguistic Inquiry and Word Count («Лингвистический разбор и подсчет слов»),
