Теория информации (вариант 4, ПГУТИ)

Предмет: Теория информации (

Дата изготовления: октябрь 2019 года. 

 Работа была успешно сдана - заказчик претензий не имел.

Уникальность работы по Antiplagiat.ru на 13.01.2020 г. составила 95%

Задача 1

Найти энтропии дискретных случайных величин X, Y, Z – H(X), H(Y), H(Z). Найти количество информации, содержащейся в Z относительно X – I(Z, X) и количество информации, содержащейся в Z относительно Y – I(Z, Y). Случайные величины X и Y – независимы и задаются распределениями согласно таблиц по вариантам.

Распределение случайной величины X:

X -1 1 2

p 1/8 3/8 1/2

Распределение случайной величины Y:

Y -2 2

p 1/4 3/4

Формула определения случайной величины Z: Z = X – Y2.

Задача 2

Дискретная случайная величина X представляет собой фразу, содержащую Ваше имя, отчество и фамилию. Имя, отчество и фамилия во фразе разделяются пробелом. Найти энтропиюH(X)исреднюю длину экономного кода M(L(X)) этой дискретной случайной величины.

Вид экономного кодирования: алгоритм LZSS.

Закон распределения вероятностей дискретных случайных величин, в качестве которых выступают буквы, определить анализом данной фразы (подсчитать частость появления каждой буквы).

Для алгоритмов LZ77 и LZSS размер словаря задать равным 8, а буфера – 5.

Задача 3

Составить арифметический код для сообщения, полученного от дискретной случайной величины X с распределением вероятностей заданным из таблиц из задачи 1. Позиционность сообщения m также определяется этими таблицами и соответствует количеству случайных величин в таблице.

По трём последним цифрам в зачётной книжке (624) определяется само сообщение. Эти три цифры, образуют трёхзначное десятичное число. Это число необходимо перевести в систему счисления с основанием m и разделить его по модулю m5. В итоге получится 5-разрядное число в m-ичной системе счисления, цифры которого и являются сообщением m-ичного источника.

Найти среднее количество бит на единицу сообщения для кодирования трёх символов заданного кода без учёта маркера конца сообщения.

Распределение случайной величины X:

X -1 1 2

P 1/8 3/8 ½

нет