Просмотр кода страницы Теория информации

'''Теория информации''' — раздел [[Прикладная математика|прикладной математики]], [[Радиотехника|радиотехники]] (теория [[Обработка сигналов|обработки сигналов]]) и [[Информатика|информатики]], относящийся к измерению количества [[Информация|информации]], её свойств и устанавливающий предельные соотношения для систем передачи данных. Как и любая математическая теория, [[теория]] оперирует [[Математическое моделирование|математическими моделями]], а не реальными физическими объектами (источниками и [[Канал связи|каналами связи]]). Использует, главным образом, математический аппарат [[Теория вероятностей|теории вероятностей]] и [[математическая статистика|математической статистики]].

Основные разделы теории информации — кодирование источника ([[сжатие данных|сжимающее кодирование]]) и канальное ([[Помехоустойчивое кодирование|помехоустойчивое]]) кодирование. Теория информации тесно связана с [[Информационная энтропия|информационной энтропией]], коммуникационными системами, [[Криптография|криптографией]] и другими смежными дисциплинами.

Область находится на пересечении [[математика|математики]], [[Статистика|статистики]], [[информатика|информатики]], [[физика|физики]], [[нейробиология|нейробиологии]], информационной инженерии и [[Электротехника|электротехники]]. Теория также нашла применение в других областях, включая [[статистический вывод]], [[Обработка естественного языка|обработку естественного языка]], [[Криптография|криптографию]], [[Нейробиология|нейробиологию]]<ref name="Spikes">{{книга |заглавие=Spikes: Exploring the Neural Code |издательство=The MIT press |год=1997 |isbn=978-0262681087 |язык=und |автор=F. Rieke; D. Warland; R Ruyter van Steveninck; W Bialek}}</ref>, [[Зрение человека|человеческое зрение]]<ref>{{статья |заглавие=Human vision is determined based on information theory |издание={{Нп3|Scientific Reports}} |ссылка=https://www.nature.com/articles/srep36038 |язык=En |том=6 |номер=1 |bibcode=2016NatSR...636038D |doi=10.1038/srep36038 |issn=2045-2322 |pmc=5093619 |автор=Delgado-Bonal, Alfonso; Martín-Torres, Javier |число=3 |месяц=11 |год=2016 |archivedate=2021-02-24 |archiveurl=https://web.archive.org/web/20210224221041/https://www.nature.com/articles/srep36038 }}</ref>, [[Эволюция|эволюцию]]<ref>{{статья |заглавие=Bayesian inference of phylogeny and its impact on evolutionary biology |издание=Science |том=294 |номер=5550 |страницы=2310—2314 |bibcode=2001Sci...294.2310H |doi=10.1126/science.1065889 |язык=en |тип=journal |автор=cf; Huelsenbeck, J. P.; Ronquist, F.; Nielsen, R.; Bollback, J. P. |год=2001}}</ref> и функцию<ref>{{статья |заглавие=Thomas D. Schneider], Michael Dean (1998) Organization of the ABCR gene: analysis of promoter and splice junction sequences |издание={{Нп3|Gene (журнал)|Gene||Gene (journal)}} |ссылка=http://alum.mit.edu/www/toms/ |том=215 |номер=1 |страницы=111—122 |doi=10.1016/s0378-1119(98)00269-8 |язык=en |тип=journal |автор=Allikmets, Rando; Wasserman, Wyeth W.; Hutchinson, Amy; Smallwood, Philip; Nathans, Jeremy; Rogan, Peter K. |год=1998 |издательство=[[Elsevier]] |archivedate=2008-08-21 |archiveurl=https://web.archive.org/web/20080821124201/http://alum.mit.edu/www/toms }}</ref> молекулярных кодов ([[биоинформатика]]), [[выбор статистической модели]]<ref>Burnham, K. P. and Anderson D. R. (2002) ''Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition'' (Springer Science, New York) {{ISBN|978-0-387-95364-9}}.</ref>, [[теплофизика|теплофизику]]<ref>{{статья |заглавие=Information Theory and Statistical Mechanics |ссылка=http://bayes.wustl.edu/ |издание=[[Physical Review|Phys. Rev.]] |том=106 |номер=4 |страницы=620 |bibcode=1957PhRv..106..620J |doi=10.1103/physrev.106.620 |язык=en |автор=Jaynes, E. T. |год=1957 |тип=journal |archivedate=2011-08-30 |archiveurl=https://web.archive.org/web/20110830215943/http://bayes.wustl.edu/ }}</ref>, [[квантовые вычисления]], [[Лингвистика|лингвистику]], выявление плагиата<ref>{{статья |заглавие=Chain Letters and Evolutionary Histories |издание=[[Scientific American]] |ссылка=http://sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75 |том=288 |номер=6 |страницы=76—81 |bibcode=2003SciAm.288f..76B |doi=10.1038/scientificamerican0603-76 |pmid=12764940 |язык=en |автор=Bennett, Charles H.; Li, Ming; Ma, Bin |год=2003 |издательство=[[Springer Nature]] |archiveurl=https://web.archive.org/web/20071007041539/http://www.sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75 |archivedate=2007-10-07 }}</ref>, [[Теория распознавания образов|распознавание образов]] и [[выявление аномалий]]<ref>{{Cite web|url=http://aicanderson2.home.comcast.net/~aicanderson2/home.pdf|title=Some background on why people in the empirical sciences may want to better understand the information-theoretic methods|author=David R. Anderson|date=2003-11-01|format=pdf|archivedate= 2011-07-23|accessdate=2010-06-23|archiveurl= https://web.archive.org/web/20110723045720/http://aicanderson2.home.comcast.net/~aicanderson2/home.pdf}}</ref>. Важные подразделы теории информации включают в себя [[сжатие данных]], [[Прямая коррекция ошибок|канальное кодирование]], [[Колмогоровская сложность|алгоритмическую теорию сложности]], [[Алгоритмическая теория информации|алгоритмическую теорию информации]], информационно-теоретическую безопасность, [[реляционный анализ Грея]] и измерение информации.

== Введение ==
Появление теории информации связано с опубликованием [[Шеннон, Клод|Клодом Шенноном]] работы «[[Математическая теория связи (статья)|Математическая теория связи]]» в [[1948 год]]у. С точки зрения Шеннона, теория информации — раздел математической теории связи. Теория информации устанавливает основные границы возможностей систем передачи информации, задает исходные принципы их разработки и практического воплощения. Круг задач теории информации представляется с помощью структурной схемы, типичной системы передачи или хранения информации.

[[File:Information transfer (ru).png|1000px|thumb|Схема системы связи]]

В схеме источником является любой объект [[Вселенная|вселенной]], порождающий сообщения, которые должны быть перемещены в [[Пространство в физике|пространстве]] и [[Время|времени]]. Независимо от изначальной физической природы, все подлежащие передаче сообщения обычно преобразуются в форму [[Электрический импульс|электрических сигналов]], такие сигналы и рассматриваются как выход источника.
Кодер источника представляет информацию в наиболее компактной форме.
Кодер канала обрабатывает информацию для защиты сообщений от помех при передаче по [[Канал связи|каналу связи]] или возможных искажений при хранении информации.
[[Модулятор]] преобразовывает сообщения, формируемые кодером канала, в сигналы, согласованные с физической природой канала связи или средой накопителя информации.
Среда распространения информации ([[канал связи]]) вносит в процесс передачи информации случайный шум, который искажает сообщение и тем самым затрудняет его прочтение.
Блоки, расположенные на приёмной стороне, выполняют обратные операции и предоставляют получателю информацию в удобном для [[Восприятие|восприятия]] виде.

== История ==
{{main|Хронология развития теории информации}}
Рождение теории информации зачастую связывают с размещением в июле-октябре 1948 года [[Шеннон, Клод|Клодом Шенноном]] работы в журнале американской телефонной компании «Bell System» под названием «Математическая теория связи». Но стоит упомянуть, что вклад в формулировку и построение теории информации также был внесён и многими другими выдающимися учёными. Сам Шеннон в начале своей статьи написал «Некоторые основные положения этой теории имеются в важных работах [[Найквист, Гарри|Найквиста]] и [[Хартли, Ральф|Хартли]]. В настоящее время теория расширена тем, что включено некоторое число новых факторов, в частности, влияние шума в канале».

В основном Шеннон развивал направление работ Хартли, используя понятие «информации», но сам термин не разъясняет, лишь оговаривает, что сообщения могут иметь какое-то «значение», то есть относиться к системе, имеющей свою физическую или умозрительную сущность ([[Кибернетика|кибернетическая]] система). Теория Шеннона изначально рассматривалась как точно сформулированная математическая задача и дала возможность определить пропускную способность коммуникационного канала с шумом.

== Кодирование данных ==
{{Нет ссылок в разделе|дата=2 февраля 2016}}
Кодирование являет собой процесс перехода сообщения на входе канала связи до кода сообщения на выходе, при этом информационная ценность сообщения должна оставаться неизменной.
В теории информации можно выделить следующие разделы:

1. Кодирование дискретных источников (модель кодирования данных «без потерь»).

2. Кодирование данных, обеспечивающее их безошибочную передачу по каналу с шумом.

Код является однозначно декодируемым, если любая последовательность символов из алфавита кода (а, в основном, это 0 и 1) разбивается на отдельные слова.
Если ни одно кодовое слово не является началом другого, код называется префиксным и он является однозначно декодируемым. Следовательно, префиксность — достаточное, но не необходимое условие однозначной декодируемости. Требование префиксности ограничивает множество длин кодовых слов и не даёт возможности выбирать кодовые слова слишком короткими. Необходимым и достаточным условием существования префиксного кода объёма <math>M</math> с длинами кодовых слов <math>l_1,...,l_M</math> является выполнение неравенства Крафта:

: <math>\sum_{i=1}^{M} {2}^{-l_i}\leqslant{1}</math>

Также требуется рассмотреть [[Алгоритм Шеннона — Фано|код Шеннона — Фано]] — алгоритм префиксного неоднородного кодирования. Этот метод кодирования использует избыточность сообщения, заключённую в неоднородном распределении частот символов его алфавита, то есть заменяет коды более частых символов короткими двоичными последовательностями, а коды более редких символов — более длинными двоичными последовательностями. Рассмотрим источник, выбирающий буквы из множества <math>X=M</math> с вероятностями <math>p_M</math>. Считаем, что буквы упорядочены по убыванию вероятностей (<math>{p_1}\geqslant {p_2}\geqslant {p_M}</math>). Кодовым словом кода Шеннона для сообщения с номером <math>M</math> является двоичная последовательность, представляющая собой первые <math>l=-\log {p_m}</math> разрядов после запятой в двоичной записи числа <math>q_M</math>:

: <math>{q_M}=\sum_{i=1}^{M-1} p_i</math>

3. Кодирование данных для систем со многими пользователями описывает оптимальное взаимодействие абонентов, использующих общий ресурс, например, канал связи.

== См. также ==
* [[Теория кодирования]]
* [[Философия информации]]
* [[Информационная энтропия]]
* [[Сжатие данных]]
* [[Алгоритмическая теория информации]]

== Примечания ==
{{примечания}}

== Литература ==
* ''Кудряшов Б. Д.'' Теория информации, СПбГУ НИУ ИТМО
* ''[[Леонтьев, Владимир Константинович|Леонтьев  В. К.]], Гордеев Э. Н.'' [http://www.mou.mipt.ru/AddDiscAn.pdf Комбинаторные аспекты теории информации]. М.: [[Московский физико-технический институт|МФТИ]], 2019. 
* {{Книга|ссылка=https://www.phantastike.com/math/chelovek_i_informatciya/djvu/view/|автор=Тростников В.Н.|заглавие=Человек и информация|год=1970|место=М.|издательство=Наука|страниц=188}}
* Фурсов В. А. Лекции по теории информации ISBN 5-7883-0458-X
* ''[[Шеннон, Клод|Claude E. Shannon]], Warren Weaver.'' The Mathematical Theory of Communication. Univ of Illinois Press, 1963. ISBN 0-252-72548-4
* ''{{не переведено|Thomas M. Cover||en|Thomas M. Cover}}, Joy A. Thomas.'' Elements of information theory New York: Wiley, 1991. ISBN 0-471-06259-6
* ''R. Landauer'', Information is Physical Proc. Workshop on Physics and Computation PhysComp’92 ([[Институт инженеров электротехники и электроники|IEEE]] Comp. Sci.Press, Los Alamitos, 1993) pp. 1-4.
* Maxwell’s Demon: Entropy, Information, Computing, H. S. Leff and A. F. Rex, Editors, [[Princeton University Press]], Princeton, NJ (1990). ISBN 0-691-08727-X
* ''[[Шеннон, Клод|Шеннон К.]]'' Работы по теории информации и кибернетике. — М.: Изд. иностр. лит., 1963. — 830 с.
* ''[[Колмогоров, Андрей Николаевич|Колмогоров А. Н.]]'' [http://www.mathnet.ru/php/archive.phtml?wshow=paper&jrnid=ppi&paperid=68&option_lang=rus Три подхода к определению понятия «количество информации», Пробл. передачи информ., '''1''':1 (1965), 3-11]
* {{книга|автор=MacKay, David.|заглавие=Information Theory, Inference, and Learning Algorithms|ссылка=http://www.inference.phy.cam.ac.uk/mackay/itila/|издательство=Cambridge University Press|год=2003|isbn=9780521642989}}

== Ссылки ==
* {{krugosvet|http://www.krugosvet.ru/articles/15/1001541/1001541a1.htm}}
* ''[[Норберт Винер]]''. [http://grachev62.narod.ru/cybern/contents.htm «Кибернетика или Управление и связь в животном и машине»]
* ''[[Шеннон, Клод|К. Шеннон]]''. [http://www.vbvvbv.narod.ru/bandwagon.htm  «Бандвагон»]
* [http://www.vbvvbv.narod.ru/problemnegentropy/index.htm Традиционные подходы к количественному определению информации]
* [http://ej.kubagro.ru/a/viewaut.asp?id=762 Синергетическая теория информации]
* ''[[Холево, Александр Семёнович|Холево А. С.]]'' [https://web.archive.org/web/20090125015136/http://www.mccme.ru/free-books/kholevo/index.htm  Введение в квантовую теорию информации]
* ''Холево А. С.'' [https://www.mccme.ru/free-books/holevo-quantum.pdf Квантовые системы, каналы, информация] (c2) М.: [[Московский центр непрерывного математического образования|МЦНМО]], 2014, 327 с. (На портале изд-ва, pdf, 2M)
* [http://compression.ru/ compression.ru]
* [http://mindspring.narod.ru/math/it/ Электронный учебник по теории информации]
* [http://litwr2.atspace.eu/it_ebook2012.pdf Электронный учебник по теории информации]

{{внешние ссылки}}
{{Основные направления информатики}}{{rq|sources|refless}}
{{перевести|en|Information theory}}

[[Категория:Связь]]
[[Категория:Кибернетика]]
[[Категория:Теория информации| ]]
[[Категория:Информационная эра]]