Исчисление объёмов информации

Цель работы:

Закрепление знаний о количественном исчислении объемов информации. Мера информации по Хартли. Мера информации по Шеннону.

Задание на лабораторную работу:

Разработать программные модули, определяющие информационные характеристики по Хартли и Шеннону для заданного источника сообщений. Источником сообщений является произвольный текст достаточного объема на английском языке.

Ход работы:

Информационная ценность сообщения связана с разнообразием вариантов генерируемых сообщений. Объем информации, передаваемый с отдельным сообщением, пропорционален общему числу N различных сообщений. В качестве меры информационной емкости принимается логарифм по основанию 2 от N:

I = log2 N.

Данная формула – формула для расчета меры информации по Хартли.

Другим способом количественной оценки информации, учитывающим вероятности генерации конкретных сообщений, является мера по Шеннону.

Неопределенность состояния источника информации оценивается по формуле:Цель работы:

Закрепление знаний о количественном исчислении объемов информации. Мера информации по Хартли. Мера информации по Шеннону.

Задание на лабораторную работу:

Разработать программные модули, определяющие информационные характеристики по Хартли и Шеннону для заданного источника сообщений. Источником сообщений является произвольный текст достаточного объема на английском языке.

Ход работы:

Информационная ценность сообщения связана с разнообразием вариантов генерируемых сообщений. Объем информации, передаваемый с отдельным сообщением, пропорционален общему числу N различных сообщений. В качестве меры информационной емкости принимается логарифм по основанию 2 от N:

I = log2 N.

Данная формула – формула для расчета меры информации по Хартли.

Другим способом количественной оценки информации, учитывающим вероятности генерации конкретных сообщений, является мера по Шеннону.

Неопределенность состояния источника информации оценивается по формуле: