от 10-кратной разницы за 10 лет. И хотя во втором случае разница, конечно, ощущается как существенная и значимая, у нас нет никаких реальных доказательств, подтверждающих то или другое интуитивное предположение. Гораздо лучше количественно оценить вероятность того, что данное различие действительно является различием, заслуживающим изучения{18}. Только в этом случае мы можем надеяться выделить полезный сигнал, скрытый в шуме.
Воспользуемся аналогией. Представьте себе, что вы хотите определить, честен человек или нет, по частоте выпадения орлов при подбрасывании симметричной монеты. Как вы сможете это определить? Вряд ли вы попросите его подбросить монету один раз и, если выпадет орел, будете считать результат смещенным. А если попросить его подбросить монету два раза подряд (вероятность выпадения орлов в обоих случаях 25 %)? А 10 раз (вероятность выпадения орлов во всех 10 случаях 0,098 %)? Любой конкретный результат сам по себе имеет ненулевую вероятность, но, если заранее указать желаемый результат (выпадают только орлы) и рассчитать вероятности, исходя из абсолютной случайности исхода каждого подбрасывания монеты, вы как минимум сможете указать, при каком отклонении числа нужных исходов от его наиболее вероятного значения можно заподозрить, что человек, подбрасывающий монету, предположительно, исказил результат по сравнению с тем, который должен был получиться, если исходить из теории вероятностей.
Учесть такой тип системной изменчивости для подбрасывания монеты просто: мы знаем вероятность каждого из возможных исходов для каждого отдельного броска и знаем, что исход каждого броска не зависит от исходов других бросков, и поэтому можем легко определить вероятность того или иного общего результата для определенного числа испытаний. Но если речь идет о показателях корпораций, здесь все гораздо сложнее. Например, какова вероятность того, что компания, показатели которой в 10 раз лучше среднерыночных, тем не менее не выделяется над уровнем системного шума, а ее показатели нельзя считать информативным сигналом? Возможно, как и для нашей последовательности из 10 орлов, выпадающих один за другим, вероятность получения такого результата в каждом отдельном случае весьма мала, но, если провести достаточное число испытаний, в конце концов он обязательно должен появиться. И если у нас десятки тысяч компаний на протяжении многих лет ведут конкурентную борьбу, а фондовые рынки демонстрируют высокую волатильность, то появление экстремальных результатов становится весьма вероятным, и некоторые компании время от времени могут демонстрировать, казалось бы, замечательные результаты просто в силу особенностей устройства системы, а не потому, что сама компания делала нечто особенное{19}. Значит, нам необходимо найти способ, позволяющий выделять информативный сигнал – показатель эффективности, который означал бы, что, вероятно, компания делает что-то необычное или необычно, – из общего шума, отделив его от того, что мы в обычной жизни
См.:
