В «Измерение информации. Часть 2» мы разбирали решение задач, в которых рассматривались равновероятные события (например: орел или решка — вероятность выпадения 50\50). Сегодня мы рассмотрим несколько задач на тему «Измерение количества информации при не равновероятностном подходе».

Задача 1.

В корзине лежат 8 черных шаров и 24 белых. Сколько информации несет сообщение о том, что достали черный шар?

Задача 2.

В коробке лежат 64 цветных карандаша. Сообщение о том, что достали белый карандаш, несет 4 бита информации. Сколько белых карандашей было в корзине?

Задача 3.

За четверть ученик получил 100 оценок. Сообщение о том, что он получил пятерку несет 2 бита информации. Сколько пятерок ученик получил за четверть?

Задача 4.

Для ремонта школы использовали красную, зеленую и коричневую краски. Израсходовали одинаковое количество банок красной, зеленой и коричневой краски. Сообщение о том, что закончилась банка красной краски несет 2 бита информации. Зеленой краски израсходовали 8 банок. Сколько банок коричневой краски израсходовали на ремонт школы?

Задача 5.

В коробке лежат белые и черные шары. Среди них 18 черных шаров. Сообщение о том, что из корзины достали белый шар, несет 2 бита информации. Сколько всего в корзине шаров?

Решение задач, в условии которых события не равновероятны

Формулы, которые необходимы для решения таких задач можно посмотреть на «Измерение информации. Часть 1»

Мы имеем 2 формулы:

Формулы вероятности и формула Шеннона

Если применим преобразования и подставим переменную p из первой формулы во вторую, получим новую формулу, которая значительно упростит нам жизнь:

Новая формула

Решение задачи №1.

K_ч = 8
К_б = 24

i_б  — ?

(индексы «б» и «ч» указывают на то, к каким шарика, белым или черным, относится данная переменная)

Воспользуемся выведенной формулой:

Формула

В данной формуле неизвестна переменная N — это общее число событий (или шариков). N=K_б + К_ч = 8 +24 = 32 (шарика)

Получим, что i_б = 2 (бита). (т.к. 2² = 4) (при решении можно использовать логарифм, если с ним знакомы).

Ответ: сообщение о том, что достали белый шарик, несет 2 бита информации.

Решение задачи  №2

N = 64 карандаша
i_б = 4 бита

К_б — ?

Воспользуемся той же выведенной формулой:

Формула

Подставив в нее известные величины, получим:

Решение задачи №2

Ответ: количество белых карандашей равно 4.

Решение задачи №3 

N = 100
i₅ = 2 бита

K₅ — ?

Аналогично предыдущей задаче:

Решение задачи №3

Ответ: ученик получил 25 пятерок.

 Решение задачи №4

K_к = К_з = К_кор
i_к = 2 бита
К_з = 8 банок

К_кор — ?

Т.к. K_к = К_з = К_кор следует, что: количество красной краски равно 8 банок, количество зеленой краски — 8 банок и количество коричневой краски — 8 банок.

Зная, что К_к = 8, можем воспользоваться нашей выведенной формулой:

Решение задачи №4

Нашли общее число банок.

Чтобы найти количество коричневой краски необходимо из общего числа вычесть количество красной и зеленой краски.

Решение задачи №4

Ответ: количество коричневой краски — 16 банок

 Решение задачи №5

К_ч = 18
i_б = 2 бита

N — ?