Энтропия языка

Шаблон:Значения Энтропия языка — статистическая функция текста на определённом языке либо самого языка, определяющая количество информации на единицу текста.

С математической точки зрения энтропия языка определяется как

$r=H\left(M\right)/N$

где $M$ — сообщение, $H\left(M\right)$ — его энтропия, $N$ — длина сообщения.

Согласно Клоду Шеннону и Шаблон:Не переведено 2, для английского языка эта величина составляет от 1,3 до 2,3 бита на букву.

Литература

• Шаблон:Книга:Прикладная криптография
• Шаблон:Статья
• Шаблон:Статья