Figure 2.5. Binary symmetric channel
The channel capacity is:
The conditional entropy H(Y/X) is:
Hence:
But max H(Y) = 1 for p(y1) = p(y2). It follows from the symmetry of the channel that if p(y1) = p(y2), then p(x1) = p(x2) = 1/2, and C will be given by:
Figure 2.6. Variation of the capacity of a BSC according to p
2.8. Entropies with k random variables
The joined entropy of k random variables is written:
[2.60]
Furthermore, by setting down in the relationship:
One has:
[2.61]
Equality occurs when the variables are independent.
Конец ознакомительного фрагмента.
Текст предоставлен ООО «ЛитРес».
Прочитайте эту книгу целиком, купив полную легальную версию на ЛитРес.
Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.
