представляет собой единицу информации и называется бит.
В том случае, когда ответ нельзя получить сразу, требуется задавать дополнительные вопросы. Самой эффективной для спрашивающего будет такая стратегия, когда он задаёт вопросы с возможными ответами «да» или «нет», причём вероятности получить тот или иной ответ кажутся ему одинаковыми. На этом строится широко известная игра в угадывание известного человека или кого-нибудь из присутствующих. Угадывающий мысленно разбивает ответы на две, как ему кажется, равновероятные части и задаёт вопрос, ответ на который может быть положительным или отрицательным. Каждый раз он получает информацию, равную одному биту. Количество полученной при угадывании информации равно числу вопросов, которые пришлось задать игроку. Искусство угадывания зависит от того, каким образом должен быть поставлен вопрос. Приведём один из возможных примеров такой игры. Допустим, требуется угадать Исаака Ньютона. Можно представить, что игра проходит следующим образом.
1. «Это государственный деятель?» – «Нет!» – 2. «Занимался искусством?» – «Нет!» – 3. «Занимался наукой?» – «Да!» – 4. «Биологией?» – «Нет!» – 5. «Физикой?» – «Да!» (Теперь можно угадывать либо по времени, в котором жил этот учёный, либо по его национальности. Первый вариант представляется более простым, так как большинство известных нам учёных жили либо в XIX, либо в XX в. Поэтому можно поставить следующие вопросы.) – 6. «Живёт в наше время?» – «Нет!» – 7. «Жил в прошлом веке?» – «Нет!» (Значит, он жил либо в XIX в., либо раньше.) – 8. «Жил в девятнадцатом веке?» – «Нет!» (Значит, этот человек либо из Древней Греции, либо из XVI–XVIII вв., уточним.) – 9. «Жил после пятнадцатого века?» – «Да!» (Большинство учёных этого времени жили в Англии, Италии или во Франции, поэтому попробуем угадывать по национальности.) – 10. «Англичанин?» – «Да!» (Повезло! Из всех англичан, занимавшихся в это время наукой, самым известным был Ньютон. Теперь можно попробовать угадать напрямую.) – 11. «Ньютон?» – «Да!!!» Ответ найден. Для этого потребовалось задать одиннадцать вопросов. Значит, мы получили одиннадцать бит информации? Не совсем так. Дело в том, что при таком угадывании многое зависит от интуиции и везения. Если бы мы начали угадывать национальность не с Англии, а сначала поинтересовались бы, не является ли он итальянцем, а потом – французом, нам пришлось бы задать на два вопроса больше. Наоборот, если бы мы не стали уточнять, какой именно наукой занимался учёный, а продолжали бы интересоваться, в какое время он жил, мы могли бы сэкономить два вопроса. Таким образом, оценка полученной информации, равная 11 битам, является очень приблизительной.
Как уже говорилось, количество содержащейся в сообщении информации неодинаково для каждого получателя этого сообщения и зависит от его предварительного знания. Поэтому объективно можно определить только максимальное количество этой информации, предполагая, что получатель заранее не имеет никаких знаний по этому вопросу. Предположим, что нам сказали, что Юпитер является самой
