Главная
Новости
Строительство
Ремонт
Дизайн и интерьер




01.08.2021


30.07.2021


30.07.2021


29.07.2021


28.07.2021





Яндекс.Метрика

Формула Хартли

06.03.2021

Формула Хартли или хартлиевское количество информации или мера Хартли — логарифмическая мера информации, которая определяет количество информации, содержащееся в сообщении.

I = K log 2 ⁡ N {displaystyle I=Klog _{2}N}

Где N — количество символов в используемом алфавите (мощность алфавита), K — длина сообщения (количество символов в сообщении), I — количество информации в сообщении в битах.

Формула была предложена Ральфом Хартли в 1928 году как один из научных подходов к оценке сообщений.

Для случая определения количества информации i в одном символе алфавита мощности N, формула Хартли принимает вид:

i = log 2 ⁡ N {displaystyle i=log _{2}N}

Соответственно, мощность алфавита равна:

N = 2 i {displaystyle N=2^{i}}

Из формулы Хартли следует, что алфавит, содержащий только 1 символ не может быть использован для передачи информации:

log 2 ⁡ 1 = 0 {displaystyle log _{2}1=0}

Пусть, имеется алфавит А, из N букв которого составляется сообщение:

| A | = N . {displaystyle |A|=N.}

Количество возможных вариантов разных сообщений:

M = N K , {displaystyle M=N^{K},}

где M — возможное количество различных сообщений, N — количество букв в алфавите, K — количество букв в сообщении.

Рассмотрим следующий пример. Цепь ДНК состоит из 4 видов азотистых оснований: Аденин (A), Гуанин (G), Тимин (T), Цитозин (C). Следовательно, мощность «алфавита» ДНК N равна 4. Значит, каждое азотистое основание несет i = log 2 ⁡ 4 = 2 {displaystyle i=log _{2}4=2} бита информации.

Пример: Пусть алфавит состоит из 16 символов «1», «2», «3», «4», «5», «6», «7», «8», «9», «0», «+», «-», «*», «/», «^», «#», а длина сообщения составляет 10 символов (например, команда «*123*1*3^#») — таким образом, мощность алфавита N = 16, а длина сообщения K = 10. При выбранных нами алфавите и длине сообщения можно составить M = N K = 16 10 = 1099511627776 {displaystyle M=N^{K}=16^{10}=1099511627776} сообщений. По формуле Хартли можно определить, что количество информации в каждом символе одного из этих сообщений равно i = log 2 ⁡ N = log 2 ⁡ 16 = 4 {displaystyle i=log _{2}N=log _{2}16=4} бита, а количество информации во всем сообщении, соответственно, равно I = K log 2 ⁡ N = 10 log 2 ⁡ 16 = 10 ⋅ 4 = 40 {displaystyle I=Klog _{2}N=10log _{2}16=10cdot 4=40} бит.

При равновероятности символов p = 1 m , m = 1 p {displaystyle p={frac {1}{m}},m={frac {1}{p}}} формула Хартли переходит в собственную информацию.

Иллюстрация

Допустим, нам требуется что-либо найти или определить в той или иной системе. Есть такой способ поиска, как «деление пополам». Например, кто-то загадывает число от 1 до 100, а другой должен отгадать его, получая лишь ответы «да» или «нет». Задаётся вопрос: «число меньше N?». Любой из ответов «да» и «нет» сократит область поиска вдвое. Далее по той же схеме диапазон снова делится пополам. В конечном счёте загаданное число будет найдено.

Сколько вопросов надо задать, чтобы найти задуманное число от 1 до 100. Допустим, загаданное число 27. Вариант диалога:

Больше 50? Нет. Больше 25? Да. Больше 38? Нет. Меньше 32? Да. Меньше 29? Да. Меньше 27? Нет. Это число 28? Нет.

Если число не 28 и не меньше 27, то это явно 27. Чтобы угадать методом «деления пополам» число от 1 до 100, нам потребовалось 7 вопросов.

Можно просто спрашивать: это число 1? Это число 2? И т. д. Но тогда вам потребуется намного больше вопросов. «Деление пополам» — оптимальный в данном случае способ нахождения числа. Объём информации, заложенный в ответ «да»/«нет», если эти ответы равновероятны, равен одному биту (действительно, ведь бит имеет два состояния: 1 или 0). Итак, для угадывания числа от 1 до 100 нам потребовалось семь битов (семь ответов «да»/«нет»).

N = 2 i {displaystyle N=2^{i}}

Такой формулой можно представить, сколько вопросов (битов информации) потребуется, чтобы определить одно из возможных значений. N — это количество значений, а i — количество битов. Например, в нашем примере 27 меньше, чем 28, однако больше, чем 26. Да, нам могло бы потребоваться и всего 6 вопросов, если бы загаданное число было 28.

Формула Хартли:

i = log 2 ⁡ N . {displaystyle i=log _{2}N.}

Количество информации (i), необходимой для определения конкретного элемента, есть логарифм по основанию 2 общего количества элементов (N).

Формула Шеннона

Когда события не равновероятны, может использоваться формула Шеннона:

I = − ∑ i p i log 2 ⁡ p i , {displaystyle I=-sum _{i}p_{i}log _{2}p_{i},}

где pi вероятность i-го события.