разряд, в десятичной системе счисления – «дит», как десятичный разряд. Например:
а) сообщение в двоичной системе 10111011 имеет объем данных Vд = 8 бит;
б) сообщение в десятичной системе 275903 имеет объем данных Vд = 6 дит.
В современной ЭВМ наряду с минимальной единицей данных «бит» широко
используется укрупненная единица измерения «байт», равная 8 бит.
Определение количества информации на синтаксическом уровне невозможно без рассмотрения понятия неопределенности состояния системы (энтропии системы).
Действительно, получение информации о какой-либо системе всегда связано с изменением степени неосведомленности получателя о состоянии этой системы. До получения информации получатель мог иметь некоторые предварительные (априорные) сведения о системе α. Мера неосведомленности о системе H (α) и является для него мерой неопределенности состояния системы. После получения некоторого сообщения получатель приобретает некоторую дополнительную информацию Jβ (α), уменьшающую его априорную неосведомленность так, что апостериорная (после получения сообщения β) неопределенность состояния системы становится равной Нβ (α), Тогда количество информации Jβ (α), о системе α, полученное в сообщении β, определится как:
Jβ (α) = Н (α) – Нβ (α)
т.е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы. Если конечная неопределенность Hβ (α) обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации станет равным:
Jβ (α) = Н (α)
Иными словами, энтропия системы Н (α) может рассматриваться как мера недостающей информации. Энтропия системы H (α), имеющей N возможных состояний согласно формуле ШЕННОНА, равна:
N
Н (α) = -, ∑ Pi log Pi
i=1
где Pi -вероятность того, что система находится в i-м состоянии.
Для случая, когда все состояния системы равновероятны, ее энтропия определяется по формуле:
Н (α) = log N.
Рассмотрим пример. По каналу связи передается n- разрядное сообщение, использующее m различных символов.
Так как количество всевозможных кодовых комбинаций определяется по формуле N = m n, то при равно вероятности появления любой из них количество информации, приобретенной абонентом в результате получения сообщения, будет определяться по формуле ХАРТЛИ:
I = log N = n log m.
Если в качестве основания логарифма принять m, то формула упростится и количество информации станет равным:
I = n.
В данном случае количество информации (при условии полного априорного незнания абонентном содержания сообщения) будет равно объему данных I = Уд, полученных по каналу связи.
Наиболее часто используются двоичные
