Задачи по теории информации

Задание 1

Сколько информации может хранить шестнадцатиразрядный регистр, в каждой из которых может храниться 0 или 1?

Задание 2

Двоичный источник работает с символами 0 и 1. Получено сообщение, приведенное ниже:

000011110000000000011000111000011100001110000.

Найти количество информации в принятом сообщении

Задание 3

В Китае наиболее употребляемыми являются около тысячи иероглифов. Сколько информации по Шеннону несет один иероглиф, если вероятности их использования одинаковы?

Задание 4

Для передачи информации используется система из пяти знаков с вероятностями их появления: р1=0,4; р2=0,35; р3=0,1; р4=0,1; р5=0,005. Найдите энтропию дискретного источника сообщений, использующего эти знаки в качестве алфавита.

Задание 5

Найдите энтропию двоичного телеграфного источника, если длительность тире 1 с, а точки и паузы – (1/3) с, причем, последние два знака встречаются в текстах чаще, чем тире, в два раза.

Задание 6

Определить избыточность дискретного источника, если он вырабатывает статистически независимую последовательность из единиц и нулей с вероятностями р1=0,3 и р2=0,7 соответственно.