большие объемы данных, необходимые для того, чтобы связать вместе все отдельные выводы и заключения, а затем создать план или дорожную карту на многие месяцы вперед. Детальный процесс выделения приоритетов – понимания того, над чем работать в первую очередь, а чем пренебречь, – и последующего создания плана оптимизации описывается в главе 7.
Шаг 3. Формулируем гипотезу
На основании наблюдений вы создаете гипотезу, которая предсказывает результат предлагаемых изменений на сайте. Ваши прогнозы должны представлять собой рациональные и точные расчеты, основанные на данных, а не оптимистичные надежды, базирующиеся на эмоциональных желаниях. Прогноз должен быть привязан к подходящему показателю, такому как RPV, значение которого вы можете отслеживать для изменения эффекта (или самого факта его возникновения), связанного с нововведениями. Этот процесс детально объясняется в главе 8.
Шаг 4. Проводим эксперимент
Ваша гипотеза может оказаться точной или совершенно неверной. Вы не узнаете этого до тех пор, пока не проведете научный эксперимент. Его результаты либо поддержат, либо опровергнут вашу гипотезу – но в любом случае вы узнаете что-то новое о том, что заставляет ваших потребителей чаще покупать и проводить на вашем сайте больше времени.
В мире CRO эксперимент обычно принимает форму сплит-теста A/B. Половина ваших посетителей видит вашу текущую страницу, а вторая половина – ее вариацию с изменениями, которые, согласно вашему прогнозу, должны улучшить RPV. Тестирующая новую вариацию группа даже не догадывается, что видит нечто иное, поскольку новая страница идеально интегрирована в основной сайт.
Однако работающие за сценой технологии тщательно следят за тем, кто именно видит ту или иную версию, как ведут себя пользователи и, что самое важное, много ли денег они платят. По прошествии некоторого времени вы сравниваете результаты, чтобы увидеть, насколько сильно предложенная вами вариация изменила их поведение и какая из тестовых групп потратила больше денег.
Шаг 5. Анализируем результат
Проводимый вами эксперимент может иметь один из трех исходов:
• новая вариация признается «победителем», а ваша изначальная гипотеза подтверждается;
• новая вариация не «побеждает», и гипотеза отвергается;
• между данными по новой вариации и прежней версии нет существенной разницы; результаты не позволяют прийти к определенным выводам.
На первый взгляд может показаться, что вам следует молиться о том, чтобы выигрывать каждый раз. Ура! Вы открываете бутылку шампанского, помещаете тестовую страницу на свой сайт и смотрите, как посетители начинают делиться с вами денежками.
На самом же деле вам следует изо всех сил избегать мышления в стиле «пан или пропал». Нужно с одинаковым вниманием относиться и к победам, и к негативным результатам. Успех в долгосрочной перспективе возникает только при следовании научному подходу. Надежда на позитивный результат означает,
