из десяти можем получить (в нашем случае, к сожалению) информацию, значительно большую. Это означает, что, чем большей окажется информация, тем меньше её вероятность, т. е. тем реже мы будем её получать. На этом и основана формула Шеннона для энтропии. Она выражает среднюю информацию, которую мы будем получать, если повторять испытание многократно. Для двух вариантов результата она выглядит так:
H = – (Рудачи •lоg2 P удачи + P неудачи • lоg2 Р неудачи).
Вычислим энтропию для нашего примера со сдачей экзамена. Вероятность успешной сдачи составляет 0,9, а её двоичный логарифм равен -0,15.
Вероятность провала равна 0,1, а её логарифм по основанию 2 соответствует -0,33. Значит, энтропия равна:
Н = – [0,9 (-0,15) + 0,1 • (-0,33)] ≈ 0,17.
Эта величина выражается в битах и означает степень нашей неосведомлённости по поводу результата экзамена.
Предположим теперь, что мы имеем дело с неизвестным учащимся, про степень подготовки которого мы абсолютно ничего не знаем. Как мы оценим вероятность его успеха или провала? Логично предположить, что надо считать и ту и другую равными 0,5, как говорится, «пятьдесят на пятьдесят». Просто у нас нет никаких оснований считать иначе. Какова будет энтропия в этом случае? Как нам известно, в случае равновероятных исходов энтропия равна двоичному логарифму их количества. Таких исходов у нас два – либо сдаст, либо не сдаст. Значит, в этом случае степень нашего незнания результата экзамена равна 1 биту, что значительно больше, чем в предыдущем случае. Почему так получилось? Потому что про второго экзаменуемого нам не было ничего известно, в то время как в отношении себя мы знали, насколько различаются вероятности успешной или неуспешной сдачи экзамена. Это знание вероятностей и снизило энтропию. На сколько? Очевидно, на величину разницы энтропий для двух различных случаев, т. е. на 1 – 0,17 = 0,83 бита. Формула Шеннона показывает, что чем больше степень нашего незнания, тем большей получается величина энтропии.
В реальной жизни при выборе решения мы почти всегда исходим из того, что обладаем некоторой предварительной информацией по этому вопросу. Эта информация снижает исходную энтропию выбора. Например, нам пришлось задать всего одиннадцать вопросов для того, чтобы узнать, что загадан именно Ньютон. Предварительная информация перед угадыванием заключалась в том, что задуманным должен быть человек, скорее всего известный как загадывающему, так и отгадывающему. Вряд ли игрок имел в виду младшего сына любимого раба римского сенатора Информациуса, жившего во II в. до н. э. Сколько на Земле жило достаточно общеизвестных людей? Надо думать, что не более нескольких тысяч. Если для отгадывания Ньютона нам пришлось задать одиннадцать вопросов, значит, полученная информация составила 11 бит, а количество возможных вариантов выбора было равно 211 = 2048. Вряд ли количество известных всем знаменитостей намного больше этого числа. Ну, допустим,
