Формула Шеннона и Хартли для измерения количества информации

Вероятностный подход к измерению информации: основные понятия

Термин «информация» применим к разным предметным областям. С точки зрения определенной дисциплины информация соответствует множеству информационных систем. Перечислим свойства информации, объясняющие интерес к ней со стороны науки и человечества в целом:

• польза;
• прикладное назначение;
• доступность;
• полнота;
• правдивость;
• актуальность;
• подчинение законам логики.

В настоящее время информация имеет огромное значение для развития разных сфер хозяйственной деятельности человека. Ее получение, обработка и использование выражены в информационных процессах. Ключевой механизм работы с информацией можно описать в виде восприятия неких данных человеком из окружающих его источников с помощью органов чувств. Далее информацию анализируют, а на основе осмысленных фактов принимают решения. Таким образом, формируются реальные действия, оказывающие влияние на окружающую среду.

Роль хранителей и передатчиков информации с давних времен играют символы. Такие знаки различают по типу восприятия. К примеру, информацию воспринимают следующими способами:

• зрение;
• слух;
• осязание;
• обоняние;
• вкус.

Обеспечить сохранность информации в течение длительного времени можно путем записи данных на какие-либо информационные носители. Передачу данных осуществляют в форме сигналов.

В зависимости от метода связи и формата существует следующая классификация знаков:

• иконические, то есть схожие с начальным объектом;
• символы, которые сформированы по стандартизированным принципам.

Информацию представляют с помощью знаковых систем под названием «языки». Любой язык основан на алфавите, то есть наборе символов, из которых составляют сообщение, и комплексе правил, регулирующих корректность действия с символами.

Классификация языков:

• естественные, используемые в разговорной речи;
• формальные, предназначенные для применения в специальных сферах деятельности.

Программирование основано на системах счислений в виде формальных языков. К примеру, десятичная система счисления сформирована алфавитом, состоящим из 10 цифр от 0 до 9. В двоичной системе счисления язык содержит пару цифр, то есть 0 и 1.

Формула Шеннона и Хартли, вероятностный и алфавитный подходы

Информацию измеряют в битах. Таким образом, 1 бит равен объему информации, которая включена в сообщение, в два раза уменьшающем неосведомленность о чем-либо.

Запишем формулу Хартли, руководствуясь данным ранее определением:

\(4=2^{I}\)

В результате получим, что:

I = 2

Таким образом, в сообщении о местонахождении шарика содержится 2 бита информации.

С целью определения количества информации используют алфавитный подход. Данный метод подразумевает отказ от рассмотрения содержания информации в пользу анализа данных в виде последовательности знаков какой-либо знаковой системы. Алфавит при этом сформирован разными вероятными событиями. Если символы в сообщения возникают с одинаковой вероятностью, руководствуясь формулой Хартли, количество информации, приходящийся на каждый из символов, вычисляют таким образом:

\(I=\log_{2}{N}\)

В том случае, если N нельзя определить, как целую степень числа 2, число \(\log_{2}{N}\) не является целым числом. Тогда целесообразно I округлить при расчетах в большую сторону. Допустимо заменить в формуле N на самую близкую степень 2.

При равном N числе символов в алфавите и наличии числа М, которое обозначает число символов, входящих в состав сообщения, информационный объем рассматриваемого сообщения определяют так:

\(I = M \cdot \log_{2}{N}\)

Применение вероятностного подхода к определению информационного объема оправдано при неодинаковых вероятностях реализации возможных событий. Тогда для расчета целесообразно использовать формулу Шеннона:

\(I=-∑↙{i=1}↖{N}p_ilog_2p_i\)

Здесь I определяет информационный объем, N равно числу вероятных событий, \(p_i\) обозначает вероятность i-го события.

Примеры

Решение

Представим, что искомое количество лампочек равно n. Любая из них может гореть, либо не гореть. С их помощью представляется возможным закодировать следующее количество сигналов:

\(2^{n}\)

Составим справедливое соотношение, ориентируясь на формулу Хартли и условия задания:

\(2^{5} < 50 < 2^{6}\)

Таким образом, 5 ламп не хватит для организации 50 сигналов. Целесообразно округлить количество ламп до 6.

Ответ: 6.

Решение

Руководствуясь условиями задания, представим в качестве алфавита целые числа от 0 до 100. Получим, что общее количество подобных значений совпадает с 101. Запишем справедливое соотношение величин, исходя из алфавитного подхода:

\(I=\log_{2}{101}\)

Заметим, что при расчетах не получается целое число. В таком случае, как уже известно, допустимо выполнить замену числа 101 на близкое к нему число, равное степени 2. Получим следующее выражение:

128 = 27

В результате:

\(I=\log_{2}{128} = 7\)

\(80 \cdot 7 = 560 битов = 70 байтов\)

Ответ: 70

Решение

Запишем условия задания по поводу одинаковых вероятностей таким образом:

\(p_1={1}/{2}, p_2={1}/{4}, p_3={1}/{8}, p_4={1}/{8}\)

Воспользуемся формулой Шеннона и выполним вычисления:

\(I=-({1}/{2}·log_2{1}/{2}+{1}/{4}·log_2{1}/{4}+{1}/{8}·log_2{1}/{8}+{1}/{8}·log_2{1}/{8})={14}/{8} = 1,75 бита\)

Ответ: 1,75