Информация и информационные процессы.

Определение количества информации и двоичное кодирование в технических системах.

Под информацией будем понимать некоторое сообщение переданное источником информации приемнику.

Измерить количество информации можно двумя способами:

1. Содержательным подходом к измерению информации, когда  количество информации связано с  информационным содержанием  сообщения.
2. Алфавитным подходом к измерению информации, когда количество информации не связано с содержананием сообщения.

Содержательный подход  к измерению информации или устранение неопределенности знания.

Что такое неопределенность знаний?  Совершим практический опыт - подбросим монету, которая имеет две стороны: орел и решка.  До бросания монеты мы не знали  какой стороной  упадет  монета.  После завершения нашего опыта мы узнали, например, что  выпал орел. С равной вероятностью выпасть могла решка, т.е.  было два возможных исхода нашего опыта.  Тогда очевидно, что любой из вариантов исхода опыта уменьшает неопределенность нашего знания  о том как упадет монета в два раза.

Какое количество информации мы получили?  На этот вопрос нам поможет ответить формула Хартли N=2^i_,  где  ^_N  - количество возможных вариантов падения монеты, i -  количество информации^_. Тогда уравнение 2=2ⁱ или 2¹=2ⁱ имеет решение i = 1 бит, т.к.  такое количество информации содержит сообщение,  которое уменьшает неопределенность наших знаний в два раза.

Для решения задач определеня количества информации полезно запомнить таблицу степеней двойки.

Примеры задач определения количества информации на основе устранения неопределенности знания.

Задача 1. Мама сообщила, что ваша любимая книга находится на третьей полке стелажа из четырех полок.       Какое количество информации содержит  это сообщение?

Решение: Книга могла находится на  любой из четырех полок.  В формуле Хартли  N=2ⁱ, N  ^_- количество возможных вариантов._. В нашем случае N=4. Тогда  уравнение 4=2ⁱ или  2²=2ⁱ имеет решение i = 2 бита.

Пояснение: номер полки три  не влияет на количество информации, так как вероятности нахождения книги на любой из четырех полок  в нашем случае принято считать одинаковыми.

Ответ: 2 бита.

Задача 2. При угадывании целого числа в некотором диапазоне было получено 8 бит информации. Сколько чисел содержит этот диапазон?

Решение:  В формуле Хартли  N=2^i_,   i  - количество информации в битах. Тогда  уравнение N=2⁸ или  N=2⁸ имеет решение N = 256.

Ответ:  256 чисел.

Задачи определения количества информации на основе устранения неопределенности знания для самостоятельного решения.

На железнодорожном вокзале 8 путей отправления поездов. Вам сообщили, что ваш поезд прибывает на четвертый путь. Сколько информации вы получили?

Сообщение о том, что ваш друг живет на 10 этаже, несет 4 бита информации. Сколько этажей в доме?

При угадывании целого числа в диапазоне от 1 до N было получено 9 бит информации. Чему равно N?

В коробке лежат 16 кубиков. Все кубики разного цвета. Сколько информации несет сообщение о том, что из коробки достали красный кубик?

Сколько информации содержит сообщение, уменьшающее неопределенность знаний в 8 раз?

Алфавитный подход  к измерению информации.

 При  передаче  и хранении информации с помощью технических устройств  содержание информации в сообщении для устройства  не играет никакой роли и рассматривается  как последовательность символов некоторой знаковой системы.

Набор символов знаковой системы (алфавит) можно рассматривать как различные возможные состояния (события). Тогда, если считать, что появление символов в сообщении равновероятно, по формуле  N=2ⁱ можно рассчитать, какое количество информации несет каждый символ.

Так, в русском алфавите, если не использовать букву ъ, количество событий (букв) будет равно 32. Тогда:

32 = 2ⁱ, откуда i = 5 бит.

Каждый символ несет 5 бит информации (его информационная емкость равна 5 битам).

Количество информации, которое содержит сообщение, закодированное с помощью знаковой системы, равно количеству информации, которое несет один знак системы, умноженному на количество знаков.

Например слово информатика несет  55 бит информации (5бит  x  11 символов=55).

Примеры задач определения количества информации на основе алфавитного подхода.

1 Кб  (один килобайт)= 1024 байт=2¹⁰байт
1 Мб  (один мегабайт)= 1024 Кб=2¹⁰Кбайт=2²⁰байт
1 Гб  (один гигабайт)= 1024 Мб=2¹⁰Mбайт=2³⁰байт

 При использовании двоичной системы (алфавит состоит из двух знаков: 0 и 1) каждый двоичный знак несет 1 бит информации.

.

 Задача 3. Сообщение, записанно  в ASCII коде, алфавит которого состоит из 256 символов. Какой объем информации  несет один символ кода?

Решение: В формуле Хартли  N=2^i_,  N- количество символов в алфавите, i  - количество информации в битах. Тогда  уравнение 256=2ⁱ или  2⁸=2^{i _и}меет решение i= 8 бит.

Ответ:  8 бит.