которым характеризовался источник до того, как выбор осуществился и сформировалось сообщение.
В теории информации, стало быть, берется в расчет равновероятность на уровне источника, и эту статистическую величину называют заимствованным из термодинамики термином энтропия[22]. И действительно, энтропия некоторой системы – это состояние равновероятности, к которому стремятся ее элементы. Иначе говоря, энтропия связывается с неупорядоченностью, если под порядком понимать совокупность вероятностей, организующихся в систему таким образом, что ее поведение делается предсказуемым. В кинетической теории газа описывается такая ситуация: предполагается, впрочем, чисто гипотетически, что между двумя заполненными газом и сообщающимися емкостями наличествует некое устройство, называемое демоном Максвелла, которое пропускает более быстрые молекулы газа и задерживает более медленные. Таким образом, в систему вводится некоторая упорядоченность, позволяющая сделать прогнозы относительно распределения температур. Однако в действительности демона Максвелла не существует, и молекулы газа, беспорядочно сталкиваясь, выравнивают скорости, создавая некую усредненную ситуацию, тяготеющую к статистической равновероятности. Так система оказывается высокоэнтропийной, а движение отдельной молекулы газа непредсказуемым.
Высокая энтропийность системы, которую представляют собой буквы на клавиатуре пишущей машинки, обеспечивает возможность получения очень большого количества информации. Пример описан Гильбо: машинописная страница вмещает 25 строк по 60 знаков в каждой, на клавиатуре 42 клавиши, и каждая из них позволяет напечатать две буквы, таким образом, с добавлением пробела, который тоже знак, общее количество возможных символов составит 85. Если, умножив 25 на 60, мы получаем 1500 позиций, то спрашивается, какое количество возможных комбинаций существует в этом случае для каждого из 85 знаков клавиатуры?
Общее число сообщений с длиной L, полученных с помощью клавиатуры, включающей С знаков, можно определить возводя L в степень С. В нашем случае это составит 85 в степени 1500 возможных сообщений. Такова ситуация равновероятности, существующая на уровне источника, и число возможных сообщений измеряется 2895-значным числом.
Но сколько операций выбора надо совершить, чтобы идентифицировать одно-единственное сообщение? Очень и очень много, и их реализация потребовала бы значительных затрат времени и энергии – как нам известно, каждое из возможных сообщений включает 1500 знаков, каждый из которых определяется путем последовательных выборов между 85 символами клавиатуры… Потенциальная возможность источника, связанная со свободой выбора, чрезвычайно высока, но передача этой информации оказывается весьма затруднительной[23].
III. 4. Здесь-то и возникает нужда в коде с его упорядочивающим действием. Но что дает нам введение кода? Ограничиваются комбинационные возможности задействованных
См.: Норберт Винер,
G. Т. Guilbaud, La Cybernétique, P. U. F., 1954.
