Проектирование распределенных информационных систем. Е. Н. Чернопрудова

Скачать книгу

в двоичной системе 10111011 имеет объем данных V_д = 8 бит;

      б) сообщение в десятичной системе 275903 имеет объем данных V_д = 6 дит.

      В современной ЭВМ наряду с минимальной единицей данных «бит» широко используется укрупненная единица измерения «байт», равная 8 бит.

      Определение количества информации на синтаксическом уровне невозможно без рассмотрения понятия неопределенности состояния системы (энтропии системы).

      Действительно, получение информации о какой-либо системе всегда связано с изменением степени неосведомленности получателя о состоянии этой системы. До получения информации получатель мог иметь некоторые предварительные (априорные) сведения о системе ɑ. Мера неосведомленности о системе H (ɑ) и является для него мерой неопределенности состояния системы. После получения некоторого сообщения получатель приобретает некоторую дополнительную информацию I_β(ɑ), уменьшающую его априорную неосведомленность так, что апостериорная (после получения сообщения β) неопределенность состояния системы становится равной H_β(ɑ). Тогда количество информации I_β(ɑ) о системе ɑ, полученное в сообщении β, определится как:

I_β (ɑ) = H (ɑ) – H_β (ɑ),

      т. е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы. Если конечная неопределенность H_β (ɑ) обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации станет равным:

I_β (ɑ) = H (ɑ)

      Иными словами, энтропия системы H (ɑ) может рассматриваться как мера недостающей информации. Энтропия системы H (ɑ), имеющей N возможных состояний согласно формуле ШЕННОНА, равна:

      где P_i – вероятность того, что система находится в i-м состоянии.

      Для случая, когда все состояния системы равновероятны, ее энтропия определяется по формуле:

      Рассмотрим пример. По каналу связи передается n- разрядное сообщение, использующее m различных символов.

      Так как количество всевозможных кодовых комбинаций определяется по формуле N = m ⁿ, то при равновероятности появления любой из них количество информации, приобретенной абонентом в результате получения сообщения, будет определяться по формуле ХАРТЛИ:

I = log N = n log m

      Если в качестве основания логарифма принять m, то формула упростится и количество информации станет равным:

I = n

      В данном случае количество информации (при условии полного априорного незнания абонентном содержания сообщения) будет равно объему данных I = V_д, полученных по каналу связи.

      Наиболее часто используются двоичные и десятичные логарифмы. Единицами измерения в этих случаях будут соответственно «бит» и «дит».

      Степень информативности сообщения определяется отношением количества информации к объему данных, т.е.

Y = 1/ V_д , причем 0≤Y≤1,

      где: Y – характеризует лаконичность сообщения.

Скачать книгу