1944 года его команда выдала серию идеально точных прогнозов о погодных условиях для полетов между Сибирью и островом Гуам. Во всяком случае, по сообщениям летчиков, совершавших рейсы в указанных областях, прогнозы оправдались на все 100 %. Вскоре Лоренц выяснил истинную причину столь невероятной точности: поглощенные выполнением других задач, пилоты вообще не вели наблюдение за погодой и просто повторяли прогноз метеослужбы.
Та же проблема возникает, когда игровые синдикаты проверяют свои прогнозы при помощи данных, которые использовались для калибровки системы. Создать видимость идеальной модели легко. Достаточно выделить для каждого забега некий показатель, характеризующий победителя, а затем обобщить эти показатели в полном соответствии с данными выигравших лошадей. Вам кажется, что вы создали безупречную модель, но на самом деле вы лишь подогнали свой прогноз под заранее известные результаты.
Если игроки хотят узнать, сработают ли их стратегии в будущем, они должны проверять их на свежих данных. Поэтому синдикаты, собирая информацию о состоявшихся забегах, игнорируют часть результатов, строят систему прогнозов на оставшихся, а затем тестируют ее на прежде не использовавшихся данных. Это позволяет проверить, как модель ведет себя в реальных условиях.
Тестирование на свежих данных помогает убедиться, что модель удовлетворяет научному принципу «бритвы Оккама», суть которого состоит в следующем: если перед вами стоит выбор между несколькими объяснениями наблюдаемого события, лучше всего взять самое простое. Другими словами, если вы хотите построить модель реального процесса, вы должны отсечь от нее все, чему нет объяснения.
Проверка прогнозов на свежих данных позволяет бетторам не перегружать модель информацией, но этого мало: необходимо также определить степень ее точности. Это можно сделать при помощи статистического показателя под названием коэффициент детерминации. Коэффициент может иметь величину от 0 до 1 и применяется для измерения аналитического потенциала регрессионной модели. Показатель «0» говорит о том, что модель не работает вообще (игроки могли бы с тем же успехом выбирать победителя наугад); показатель «1» означает, что прогнозы точно совпадают с полученными результатами. Модель Болтон и Чэпмена имела показатель 0,09. Это было, конечно, лучше, чем выбор лошади наугад, однако множество факторов все же остались за рамками модели.
Ряд трудностей возник и с самими данными, которые использовали исследователи. Информация о 200 забегах поступала к ним с пяти американских ипподромов и содержала массу скрытых факторов: менялись условия скачек, у лошадей менялись соперники и жокеи. Будь у Болтон и Чэпмена больше данных, эту проблему можно было бы решить, но они располагали весьма ограниченной информацией – две сотни заездов, и все. Впрочем, в менее изменчивых условиях их система потенциально могла работать.
Если вы ищете экспериментальную площадку для изучения лошадиных
