Просмотр кода страницы Энтропия

{{значения}}
[[Файл:Entropia.png|мини|300x300пкс|Согласно [[Второе начало термодинамики|второму закону термодинамики]], энтропия изолированной системы возрастает или остается постоянной. Можно сказать, что поведение энтропии указывает на [[Ось времени|направление времени]] (aika)<ref>Spectrum 1976.</ref>.]]
'''Энтропи́я''' (от {{lang-grc|[[wikt:ἐν#Древнегреческий|ἐν]]}} «в» + {{lang-gr2|[[wikt:τροπή#Древнегреческий|τροπή]]}} «обращение; превращение») — широко используемый в [[Естественные науки|естественных]] и [[Точные науки|точных науках]] [[термин]] (впервые введён в рамках [[Термодинамика|термодинамики]] как [[Термодинамическая функция состояния|функция состояния]] [[Термодинамическая система|термодинамической системы]]), обозначающий меру необратимого рассеивания [[Энергия|энергии]] или бесполезности энергии (потому что не всю энергию системы можно использовать для превращения в какую-нибудь [[Работа (физика)|полезную работу]])<ref name="Викитека МСЭ2">«''[[s:МСЭ2/Энтропия|Энтропия]]''» — статья в [[Малая советская энциклопедия|Малой советской энциклопедии]]; 2 издание; 1937—1947 гг.</ref>.

Для понятия энтропии в данном разделе физики используют название ''термодинамическая энтропия''; термодинамическая энтропия обычно применяется для описания [[Равновесный процесс|равновесных (обратимых) процессов]].

В [[статистическая физика|статистической физике]] энтропия характеризует [[вероятность]] осуществления какого-либо [[Макроскопический масштаб|макроскопического состояния]]. Кроме физики, термин широко употребляется в математике: [[Теория информации|теории информации]] и [[Статистика|математической статистике]]. В этих областях знания энтропия определяется статистически и называется статистической или информационной энтропией. Данное определение энтропии известно также как [[Энтропия#В теории информации|энтропия Шеннона]] (в математике) и [[энтропия Гиббса|энтропия Больцмана—Гиббса]] (в физике).

Хотя понятия термодинамической и информационной энтропии вводятся в рамках различных формализмов, они имеют общий ''физический смысл — [[логарифм]] числа доступных состояний системы''. Взаимосвязь этих понятий впервые установил [[Больцман, Людвиг|Людвиг Больцман]]. В [[Необратимый процесс|неравновесных (необратимых) процессах]] энтропия также служит мерой близости состояния системы к [[Термодинамическое равновесие|равновесному]]: чем больше энтропия, тем ближе система к равновесию (в состоянии ''[[Термодинамическое равновесие|термодинамического равновесия]]'' энтропия системы максимальна).

Величина, [[Противоположное число|противоположная]] энтропии, именуется ''[[Негэнтропия|негэнтропией]]'' или, реже, ''[[экстропия|экстропией]]''.

== Употребление в различных дисциплинах ==
* [[Термодинамическая энтропия]] — термодинамическая функция, характеризующая меру необратимой [[Диссипация энергии|диссипации энергии]] в ней.
* В [[статистическая физика|статистической физике]] — характеризует вероятность осуществления некоторого макроскопического состояния системы.
* В [[математическая статистика|математической статистике]] — мера неопределённости [[распределение вероятностей|распределения вероятностей]].
* [[Информационная энтропия]] — в теории информации мера неопределённости источника сообщений, определяемая вероятностями появления тех или иных символов при их передаче.
* [[Энтропия динамической системы]] — в теории динамических систем мера хаотичности в поведении траекторий системы.
* [[Дифференциальная энтропия]] — формальное обобщение понятия энтропии для непрерывных распределений.
* Энтропия отражения — часть информации о дискретной системе, которая не воспроизводится при отражении системы через совокупность своих частей.
* Энтропия в [[теория управления|теории управления]] — мера неопределённости состояния или поведения системы в данных условиях.
* Технологическая энтропия — «количественная мера отставания данной технологии от наивысшего в мире уровня, принимаемого за единицу. Основным параметром, характеризующим меру технологической энтропии, является степень неопределённости получения конечного результата, а именно: объёма выпуска инновационной продукции, который может быть получен при данных объёмах вовлечённых в производство ресурсов»<ref>{{Книга|автор={{nobr|Саночкина Ю. В.}}|заглавие=Совершенствование методов управления инновационными процессами в экономических системах|год=2020|место=СПб.|издательство=[[ПЕТРОПОЛИС (издательство)|]]|страницы=54—55|страниц=160|isbn=978-5-9676-1219-0}}</ref>.

== В термодинамике ==
{{main|Энтропия в классической термодинамике}}
[[Файл:Portrait of Clausius.jpg|мини|[[Клаузиус, Рудольф Юлиус Эмануэль|Рудольф Клаузиус]]]]
Понятие энтропии впервые было введено [[Клаузиус, Рудольф Юлиус Эммануэль|Клаузиусом]] в [[Термодинамика|термодинамике]] в [[1865 год в науке|1865 году]] для определения меры необратимого [[Диссипация энергии|рассеивания энергии]], меры отклонения реального процесса от идеального. Определённая как сумма приведённых теплот, она является [[Термодинамическая функция состояния|функцией состояния]] и остаётся постоянной при замкнутых [[обратимый процесс|обратимых процессах]], тогда как в [[необратимый процесс|необратимых]] замкнутых — её изменение всегда положительно. В открытой системе может происходить уменьшение энтропии рассматриваемой системы за счет уноса энергии, например, в виде излучения, при этом полная энтропия окружающей среды увеличивается<ref>{{Книга:Физическая энциклопедия||автор=Зубарев Д. Н., Морозов  В. Г.|статья=Диссипация энергии
|ссылка=http://femto.com.ua/articles/part_1/1058.html|страницы=}}</ref>.

Математически энтропия определяется как функция состояния системы, определённая с точностью до произвольного постоянного слагаемого. Разность энтропий в двух равновесных состояниях 1 и 2 по определению равна [[Приведённое количество теплоты|приведённому количеству тепла]] (<math>\delta Q / T </math>), которое надо сообщить системе, чтобы перевести её из состояния 1 в состояние 2 по любому [[Квазистатический процесс|квазистатическому]] пути<ref>{{Книга:Сивухин Д.В.: Термодинамика и молекулярная физика|1979|страницы=127}}</ref>:
{{EF|:|<math>\Delta S_{1 \to 2} = S_2 - S_1 = \int\limits_{1 \to 2} \frac{\delta Q}{T}</math>.|ref=1|center=y}}
Так как энтропия определена с точностью до произвольной аддитивной постоянной, то можно условно принять состояние 1 за начальное и положить <math>S_1 = 0</math>. Тогда
{{EF|:|<math>S = \int \frac{\delta Q}{T}</math>,|ref=2|center=y}}
Здесь интеграл берется для произвольного [[Квазистатический процесс|квазистатического процесса]]. Дифференциал функции <math>S</math> имеет вид
{{EF|:|<math>dS = \frac{\delta Q}{T}</math>.|ref=3|center=y}}

Энтропия устанавливает связь между макро- и микросостояниями. Особенность данной характеристики заключается в том, что это единственная функция в физике, которая показывает направленность процессов. Поскольку энтропия является функцией состояния, то она не зависит от того, как осуществлён переход из одного состояния системы в другое, а определяется только начальным и конечным состояниями системы.

=== Физический смысл энтропии ===
Термодинамическая энтропия как [[физическая величина]] отличается своей абстрактностью, физический смысл энтропии непосредственно не вытекает из её математического выражения и не поддаётся простому интуитивному восприятию.

С физической точки зрения энтропия характеризует степень необратимости, неидеальности реального термодинамического процесса. Она является ''мерой [[Диссипация энергии|диссипации]]'' (рассеивания) энергии, а также мерой оценки энергии в плане её пригодности (или эффективности) использования для превращения теплоты в работу. {{Sfn |Шамбадаль П. Развитие и приложение энтропии|1967| c = 61—64}}
Два последних утверждения не относятся к необычным системам с отрицательной абсолютной температурой, в которых теплота самопроизвольно может полностью превращаться в работу.

== В теории информации ==
{{main|Информационная энтропия}}Для энтропии (чаще в математике) встречается также название шенноновская информация или количество информации по [[Шеннон, Клод|Шеннону]]{{sfn|Цыпкин Я. З.|1995|страницы=77}}.

Энтропия может интерпретироваться как мера [[Неопределённость|неопределённости]] (неупорядоченности) или сложности некоторой системы, например, какого-либо опыта (испытания), который может иметь разные исходы, а значит, и [[количество информации]]<ref>{{Книга:Физическая энциклопедия||автор=Зубарев Д. Н., Морозов  В. Г.|статья=Энтропия|ссылка=http://www.femto.com.ua/articles/part_2/4761.html|страницы=}}</ref><ref>{{БСЭ3|заглавие=Энтропия}}</ref>. Таким образом, другой интерпретацией энтропии является [[Единицы измерения ёмкости носителей и объёма информации|информационная ёмкость]] системы. С данной интерпретацией связан тот факт, что создатель понятия энтропии в [[Теория информации|теории информации]] ([[Клод Шеннон]]) сначала хотел назвать эту величину ''информацией''.

Понятие [[Информационная энтропия|информационной энтропии]] применяется как в [[Теория информации|теории информации]] и [[Математическая статистика|математической статистике]], так и в [[статистическая физика|статистической физике]] ([[энтропия Гиббса]] и её упрощённый вариант — [[принцип Больцмана|энтропия Больцмана]])<ref>{{Cite web |url=http://emf.pskgu.ru/ebooks/astros/0401_O.pdf |title=Источник |access-date=2017-03-01 |archive-date=2017-03-01 |archive-url=https://web.archive.org/web/20170301184128/http://emf.pskgu.ru/ebooks/astros/0401_O.pdf |url-status=dead }}</ref><ref>{{Cite web |url=http://profbeckman.narod.ru/poryadok/Doclad_poryadok.pdf |title=Источник |access-date=2017-03-19 |archive-date=2017-03-19 |archive-url=https://web.archive.org/web/20170319112344/http://profbeckman.narod.ru/poryadok/Doclad_poryadok.pdf |url-status=live }}</ref>. ''Математический смысл [[Информационная энтропия|информационной энтропии]] — это логарифм числа доступных состояний системы'' (основание логарифма может быть различным, но большим 1, оно определяет единицу измерения энтропии){{sfn|Вентцель Е. С.|1969|страницы=468—475}}. Такая функция от числа состояний обеспечивает [[Аддитивность (математика)|свойство аддитивности]] энтропии для независимых систем. Причём, если состояния различаются по степени доступности (то есть не равновероятны), под числом состояний системы нужно понимать их эффективное количество, которое определяется следующим образом.

Пусть состояния системы равновероятны и имеют вероятность <math>p</math>, тогда число состояний <math>N=1/p</math>, а <math>\log N=\log (1/p)</math>. В случае разных вероятностей состояний <math>p_i</math> рассмотрим [[Среднее геометрическое взвешенное|средневзвешенную величину]]
: <math>\log \overline{N}=\sum_{i=1}^N p_i \log (1/p_i),</math>
где <math>\overline{N}</math> — эффективное количество состояний.
Из данной интерпретации непосредственно вытекает выражение для [[Информационная энтропия|информационной энтропии Шеннона]]:
: <math>H=\log \overline{N}=-\sum_{i=1}^N p_i\log p_i.</math>

Подобная интерпретация справедлива и для [[Энтропия Реньи|энтропии Реньи]], которая является одним из обобщений понятия [[информационная энтропия]], но в этом случае иначе определяется эффективное количество состояний системы. [[Энтропия Реньи|Энтропии Реньи]] соответствует эффективное количество состояний, определяемое{{sfn|Зарипов Р. Г.|2005|страницы=13—22, 108-125}} как [[среднее степенное взвешенное]] с параметром <math>q \le 1</math> от величин <math>1/p_i</math>.

Следует заметить, что интерпретация формулы Шеннона на основе взвешенного среднего не является её обоснованием. Строгий вывод этой формулы может быть получен из комбинаторных соображений с помощью асимптотической [[Формула Стирлинга|формулы Стирлинга]] и заключается в том, что комбинаторность распределения (то есть число способов, которыми оно может быть реализовано) после взятия логарифма и нормировки в пределе совпадает с выражением для энтропии в виде, предложенном Шенноном<ref>{{статья|автор=Джейнс Э. Т.|заглавие=О логическом обосновании методов максимальной энтропии|издание=ТИИЭР|год=1982|том=70|выпуск=9|страницы=33—51}}</ref>{{sfn|Колмогоров|1987|страницы=29—39}}<ref>{{статья|автор=Amritansu Ray, S. K. Majumder|заглавие=A Note on Burg’s Modified Entropy in
Statistical Mechanics|издание=Mathematics|год=2016|том=10|выпуск=4|страницы=}}</ref>.

=== Аксиоматическое определение энтропии ===
Выражение для информационной энтропии может быть выведено на основе некоторой системы [[Аксиома|аксиом]]. Одним из подходов является следующая система аксиом, известная как система '''аксиом Хинчина''':<ref>{{статья|автор=[[Хинчин, Александр Яковлевич|Хинчин А. Я.]]|заглавие=Понятие энтропии в теории вероятностей|издание=[[Успехи математических наук]]|год=1953|том=8|выпуск=3(55)|страницы=3—20|ссылка=http://www.mathnet.ru/php/archive.phtml?wshow=paper&jrnid=rm&paperid=8203&option_lang=rus|archivedate=2009-09-10|archiveurl=https://web.archive.org/web/20090910083710/http://www.mathnet.ru/php/archive.phtml?wshow=paper&jrnid=rm&paperid=8203&option_lang=rus}}</ref>.
: '''1'''. Пусть некоторая система может пребывать в каждом из <math>N</math> доступных состояний с вероятностью <math>p_i</math>, где <math>i=1,...,N</math>. Энтропия <math>H</math> является функцией только вероятностей <math>P=(p_1,...,p_N)</math>: <math>H=H(P)</math>.
: '''2'''. Для любой системы <math>P</math> справедливо <math>H(P) \le H(P_{unif})</math>, где <math>P_{unif}</math> — система с равномерным распределением вероятностей: <math>p_1=p_2=...=p_N=1/N</math>.
: '''3'''. Если добавить в систему состояние <math>p_{N+1}=0</math>, то энтропия системы не изменится.
: '''4'''. Энтропия совокупности двух систем <math>P</math> и <math>Q</math> имеет вид <math>H(PQ)=H(P)+H(Q/P)</math>, где <math>H(Q/P)</math> — средняя по ансамблю <math>P</math> [[условная энтропия]] <math>Q</math>.
Указанный набор аксиом однозначно приводит к формуле для энтропии Шеннона.

Некоторые авторы<ref>{{Статья |автор=Plastino A., Plastino A. R. |заглавие=Tsallis Entropy and Jaynes' Information Theory Formalism |издание=Brazilian Journal of Physics |год=1999 |том=29 |выпуск=1 |страницы=53 |ссылка=http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0103-97331999000100005 |archivedate=2021-05-12 |archiveurl=https://web.archive.org/web/20210512150219/http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0103-97331999000100005 }}</ref> обращают внимание на неестественность последней аксиомы Хинчина. И действительно, более простым и очевидным является требование аддитивности энтропии для независимых систем. Таким образом, последняя аксиома может быть заменена следующим условием.
: '''4''''. Энтропия совокупности двух независимых систем <math>P</math> и <math>Q</math> имеет вид <math>H(PQ)=H(P)+H(Q)</math>.
Оказывается, система аксиом с пунктом '''4'''' приводит не только к энтропии Шеннона, но и к [[Энтропия Реньи|энтропии Реньи]].

=== ''f''-энтропия ===
Кроме [[Энтропия Реньи|энтропии Реньи]], известны и другие обобщения стандартной энтропии Шеннона, например класс ''f''-энтропий, предложенный<ref>{{Статья |автор=Csiszár I. |заглавие=A class of measures of informativity of observation channels. |издание=Periodica Math. Hungar |год=1972 |том=2 |страницы=191–213| ссылка=https://link.springer.com/content/pdf/10.1007%2FBF02018661.pdf}}</ref> [[Чисар, Имре|И. Чисаром]] в 1972 г. Также С. Аримото в 1971 г. предложил<ref>{{Статья|автор=Arimoto S.|заглавие=Information-theoretical considerations on estimation problems|издание=Information and Control|год=1971|выпуск=3|том=19|страницы=181–194|ссылка=https://www.sciencedirect.com/science/article/pii/S0019995871900659/pdf?md5=abaf2bc6f26962ecfa18729ed0f3098b&pid=1-s2.0-S0019995871900659-main.pdf|archivedate=2021-12-06|archiveurl=https://web.archive.org/web/20211206094452/https://www.sciencedirect.com/science/article/pii/S0019995871900659/pdf?md5=abaf2bc6f26962ecfa18729ed0f3098b&pid=1-s2.0-S0019995871900659-main.pdf}}</ref> концепцию ''f''-энтропии, задающую иной класс функционалов. Далее рассматривается концепция [[Чисар, Имре|И. Чисара]]. Понятие ''f''-энтропии связано<ref>{{Статья |автор=Csiszár I. |заглавие=Axiomatic Characterizations of Information Measures. |издание=Entropy |год=2008 |выпуск=10 |страницы=261—273 |ссылка=https://www.mdpi.com/1099-4300/10/3/261/pdf |archivedate=2017-09-22 |archiveurl=https://web.archive.org/web/20170922231903/http://www.mdpi.com/1099-4300/10/3/261/pdf }}</ref> с понятием [[f-дивергенция|''f''-дивергенции]]. Элементы этих классов образуют парное соответствие, причём каждая такая пара функционалов определяется некоторой [[Выпуклая функция|выпуклой функцией]] <math>f(t)</math> при <math>t \geq 0</math>, удовлетворяющей условию <math>f(1)=0</math>.

Для заданной функции <math>f(t)</math> ''f''-энтропия [[Распределение вероятностей#Дискретные распределения|дискретного распределения]] <math>P=\{p_i\,|\,i=1,...,N\}</math> определяется как

: <math> H_f(P) = -\sum_{i=1}^N f\left(p_i\right). </math>

Наиболее известными частными случаями ''f''-энтропии являются:
* энтропия Шеннона для <math>f(t)=t\ln t</math>;
* энтропия Берга для <math>f(t)=-\ln t</math>;
* [[энтропия Цаллиса]] для <math>f(t)={t^q-t \over q-1}</math>, <math>q>0</math>, <math>q \neq 1</math>;
* альфа-энтропия для <math>f(t) = {t^\alpha-t \over \alpha(\alpha-1)}</math>, <math>\alpha \neq 1</math>, <math>\alpha \neq 0</math>.

Энтропия Шеннона является единственной [[Аддитивность (математика)|аддитивной]] энтропией в классе ''f''-энтропий.

Понятие ''f''-энтропии определяют в общем виде следующим образом. Пусть <math>P</math> — распределение вероятностей и <math>\mu</math> — любая [[мера множества|мера]] на <math>\Omega</math>, для которой существует абсолютно непрерывная относительно <math>\mu</math> функция <math>p = \frac{dP}{d\mu}</math>. Тогда

: <math> H_f(P) = -\int_{\Omega} f(p)\,\partial\mu.</math>

Однако непрерывные версии ''f''-энтропий могут не иметь смысла по причине расходимости интеграла.

''f''-энтропия является [[Выпуклая функция|вогнутым]] функционалом от распределения вероятностей.

Можно заметить, что функция <math>f(t)</math> может быть задана с точностью до слагаемого <math>c(t-1)</math>, где <math>c</math> — произвольная константа. Независимо от выбора <math>c</math> функция <math>f(t)</math> порождает единственный функционал [[f-дивергенция|''f''-дивергенции]]. А функционал ''f''-энтропии оказывается определённым с точностью до произвольной аддитивной постоянной, то есть выбором константы <math>c</math> можно задать начало отсчёта энтропии. При этом возникает следующий нюанс: в случае <math>\mu(\Omega)=\infty</math> константа <math>c</math> должна выбираться так, чтобы подынтегральное выражение не содержало ненулевых постоянных слагаемых, иначе интеграл будет всегда расходиться, то есть <math>c</math> перестаёт быть произвольной. В частности, в дискретной версии энтропии константа <math>c</math> должна фиксироваться при <math>N=\infty</math>. Поэтому для ''f''-энтропии, чтобы не уменьшать общность определения, можно явно указывать аддитивную константу. Например, если <math>\mu</math> — [[Мера Лебега|лебегова мера]] на <math>\Omega</math>, тогда <math>p(x)</math> — [[Плотность вероятности|плотность распределения вероятности]] и

: <math> H_f(P) = -\int_{\Omega} f(p(x))\,dx+c,</math>

где <math>c</math> — произвольная константа.

Функция <math>f(t)</math> может также задаваться с точностью до произвольного положительного сомножителя, выбор которого равносилен выбору единицы измерения соответствующей ''f''-энтропии или [[f-дивергенция|''f''-дивергенции]].

Сравнивая выражения для ''f''-энтропии и [[f-дивергенция|''f''-дивергенции]] в общем виде, можно записать следующее связывающее их соотношение<ref>{{Статья |автор=Cichocki A., Amari S.-I. |заглавие=Families of Alpha- Beta- and Gamma divergences: Flexible and robust measures of similarities. |издание=Entropy |год=2010 |том=12 |выпуск=6 |страницы=1532–1568 |ссылка=https://www.mdpi.com/1099-4300/12/6/1532/pdf |archivedate=2017-09-23 |archiveurl=https://web.archive.org/web/20170923030853/http://www.mdpi.com/1099-4300/12/6/1532/pdf }}</ref>:

: <math> H(P) = -D(P\parallel Q_0)+c,</math>
где <math>Q_0</math> — [[Равномерное распределение|равномерное на <math>\Omega</math> распределение]]. Если положить, что аргументами энтропии и дивергенции выступают [[Теорема Радона — Никодима#Связанные понятия|производные распределений по мере]] <math>\mu</math> (то есть плотности распределений), имеет место формальная запись

: <math> H(p) = -D(p\parallel 1)+c.</math>

Данная связь носит фундаментальный характер и играет важную роль не только в классах ''f''-энтропии и [[f-дивергенция|''f''-дивергенции]]. Так, данное соотношение справедливо для [[Энтропия Реньи|энтропии и дивергенции Реньи]] и, в частности, для энтропии Шеннона и [[Расстояние Кульбака — Лейблера|дивергенции Кульбака—Лейблера]]. Обусловлено это тем, что согласно общепринятой аксиоматике энтропия достигает максимума на [[Равномерное распределение|равномерном распределении]] вероятностей.

== В биологии ==
Вводимая обычно как «мера неупорядоченности или неопределенности системы» энтропия часто используется в рассуждениях о направленности эволюционных процессов. Согласно этой точке зрения, биосфера — сверхсложная самоорганизующаяся структура, «питающаяся» неограниченной энтропией солнечного излучения<ref>Рапапорт А. — Математические аспекты абстрактного анализа систем // Исследования по общей теории систем. М.: Прогресс. 1969. С. 83-105.</ref><ref>Н. Н. Брушлинская, Фактор-инвариантность уравнений химической кинетики вдоль одномерного множества в пространстве параметров, УМН, 1975, том 30, выпуск 6(186), 161—162.</ref>. [[Бактериородопсин]] выполняет ту же функцию, что и [[хлорофилл]] (туннельный эффект) — обеспечивает преобразование электромагнитного облучения в энергию химических связей. Если говорить о порядке, то упорядочивание расположения элементов [[Электронотранспортная цепь фотосинтеза|фотосинтетической электрон-транспортной цепи]] обеспечивается фотосинтетической мембраной (структурной единицей [[Хлоропласты|хлоропластов]]), которая определяет направленный перенос электронов и протонов, создавая и поддерживая разность электрохимических потенциалов ионов, разделяя окисленные и восстановленные продукты и препятствуя их рекомбинации<ref>Кадошников С. И. — Фотоэлектрические и спектральные свойства искусственных хлорофилл-липидных мембран.</ref>.

Считается, что сложность организации по-разному влияет на устойчивость в живой и неживой природе<ref>Усков А. А., Круглов В. В. — Устойчивость больших систем.</ref><ref>George J.Klir — Architecture of systems problem solving.</ref>. В неживой природе увеличение сложности приводит к понижению устойчивости живого вещества. В противоположность этому в живой природе сложные (социальные) организации устойчивее (в смысле способности к выживанию), нежели устойчивость каждого элемента в отдельности. Например, численность организмов, состоящих из малого числа клеток (например, москитов), значительно больше численности организмов, состоящих из большого числа клеток (например, слонов). Однако это ничего не говорит об устойчивости, отнесенной к элементарной составляющей. Если бы цитолог пожелал заняться статистикой и собрал случайным образом коллекцию клеток, то он нашел бы в ней больше всего клеток, принадлежащих млекопитающим. Это говорит о том, что с усложнением живых организмов устойчивость их элементарных составляющих (клеток) значительно увеличивается<ref>Г.Фёрстер — Био-логика // «Проблемы бионики: Биологические прототипы и синтетические системы», изд. «Мир», М., 1965.</ref>.

По аналогии с шенноновским определением энтропии в качестве меры организованности можно рассматривать величину

<math>G=-\sum^{N+1}_{i=1}p_{i}\log p_{i},</math>

где <math>p_{i}</math> — отношение числа связей <math>n_{i},</math> имеющихся у элемента <math>i</math> в данный момент, к числу всех возможных <math>N</math> связей этого элемента. Здесь, как и в случае определения энтропии источника информации, справедливо условие <math>0\leq p_{i}\leq 1,</math> однако условие <math>\sum_{i}p_{i}=1,</math> выполняющееся для случая определения энтропии, здесь уже не имеет места и заменяется неравенством <math>0\leq \sum_{i}p_{i}\leq (N+1).</math> Для элемента <math>i,</math> не имеющего ни одной связи с любым другим элементом, <math>p_{i}=0.</math> Напротив, когда элемент <math>i</math> соединен со всеми другими <math>N</math> элементами, <math>p_{i}=1</math> и <math>\log p_{i}=0.</math>

Выражение для меры относительной организованности запишется следующим образом:

<math>G=-\sum^{N+1}_{i=1}\frac{n_{i}}{N}\log\frac{n_{i}}{N}=-\frac{1}{N}\sum^{N+1}_{i=1}(n_{i}\log n_{i}+n_{i}\log\frac{1}{N})=-\frac{1}{N}\log\frac{1}{N}\sum^{N+1}_{i=1}n_{i}-\frac{1}{N}\sum^{N+1}_{i=1}n_{i}\log n_{i}.</math>

Максимальная организованность находится приравниванием <math>G</math> по всем <math>p_{i}</math> нулю, в результате чего получается система из <math>N+1</math> уравнений:

<math>\frac{dG}{\partial p_{j}}=-\frac{d}{\partial p_{j}}\sum^{N+1}_{i=1}p_{i}\log p_{i}=0\quad\quad (j=\overline{1,(N+1)}).</math>

Для любого из этих уравнений справедливо

<math>\frac{dG}{\partial p_{j}}=-\frac{d}{\partial p_{j}}(p_{j}\log p_{j})-\frac{d}{\partial p_{j}}\sum_{i\neq j}p_{i}\log p_{i}=-\log e-\log p_{j}-0=0,\quad\quad \log p_{j}=-\log e=\log\frac{1}{e}.</math>

Таким образом, для достижения максимума организованности отношение связи должно быть равно <math>p_{i}=\frac{1}{e}</math> (где <math>e</math> — [[e (число)|число Эйлера]]), <math>G_{\mathrm{max}}=(N+1)\frac{1}{e}\log e.</math>

Данное нестохастическое толкование организованности обладает и тем преимуществом, что позволяет сделать ряд интересных выводов. Для учета в степени связи наличия связи между двумя элементами через промежуточные элементы нужно будет использовать не число связей, подходящих к элементу <math>i,</math> а число, которое определяется из выражения

<math>n_{i}=\sum_{j\neq i}m_{i,j},</math>

где <math>m_{i,j}=m_{j,i}</math> — степень родства (сила связи) между элементами <math>i</math> и <math>j.</math> В этом случае <math>p_{i}</math> будет представлять в формуле относительную общую силу связи (вместо числа связей, как было ранее) для элемента <math>i.</math><ref>Р.Бойелл — Память с семантическими связями // «Проблемы бионики: Биологические прототипы и синтетические системы», изд. «Мир», М., 1965.</ref>

== См. также ==
{{колонки|3}}
* [[Информационная энтропия]]
* [[Энтропия Реньи]]
* [[Энтропия Цаллиса]]
* [[Дифференциальная энтропия]]
* [[Расстояние Кульбака — Лейблера|Расстояние Кульбака—Лейблера]]
* [[Хаос]]
* [[Закон неубывания энтропии]]
* [[Энергия]]
* [[Второе начало термодинамики]]
* [[Принцип Ландауэра]]
* [[Телеономия]]
* [[Динамический хаос]]
* [[Энтальпия]]
{{колонки/конец}}

== Примечания ==
{{примечания}}

== Литература ==
{{Навигация}}
* {{книга |автор=к.т.н. Деменок С. Л. |заглавие=Просто Энтропия |издание=Цикл изданий "Фракталы и Хаос" |место=СПб.: «СТРАТА» |год=2019 |ссылка=https://fractal-chaos.ru/prosto-entropiya/}}
* {{книга|автор=Шамбадаль П.|заглавие=Развитие и приложение понятия энтропии|место=М.|издательство=Наука|год=1967|страниц=280| ref=Шамбадаль П. Развитие и приложение энтропии|1967| c = 61—64}}
* {{книга|автор=Мартин Н., Ингленд Дж.|заглавие=Математическая теория энтропии|место=М.|издательство=Мир|год=1988|страниц=350}}
* {{статья|автор=Хинчин А. Я.|ссылка=http://www.mathnet.ru/php/archive.phtml?wshow=paper&jrnid=rm&paperid=8203&option_lang=rus|заглавие=Понятие энтропии в теории вероятностей|издание=Успехи математических наук|год=1953|том=8|выпуск=3(55)|страницы=3—20}}
* {{книга|автор=Гленсдорф П., Пригожин И.|заглавие=Термодинамическая теория структуры, устойчивости и флуктуаций|место=М.|год=1973}}
* {{книга|автор=[[Пригожин, Илья Романович|Пригожин И.]], Стенгерс И.|заглавие=Порядок из хаоса. Новый диалог человека с природой|место=М.|год=1986}}
* {{книга|автор=Брюллюэн Л.|заглавие=Наука и теория информации|место=М.|год=1960}}
* {{книга|автор=[[Винер, Норберт|Винер Н.]]|заглавие=Кибернетика и общество|место=М.|год=1958}}
* {{книга|автор=[[Винер, Норберт|Винер Н.]]|заглавие=Кибернетика или управление и связь в животном и машине|место=М.|год=1968}}
* {{книга|автор=[[Гроот, Сибрен Руурдс де|Де Гроот С.]], Мазур П.|заглавие=Неравновесная термодинамика|место=М.|год=1964}}
* {{книга|автор=Зоммерфельд А.|заглавие=Термодинамика и статистическая физика|место=М.|год=1955}}
* {{книга|автор=Петрушенко Л. А.|заглавие=Самодвижение материи в свете кибернетики|место=М.|год=1974}}
* {{книга|автор=[[Эшби, Уильям|Эшби У. Р.]]|заглавие=Введение в кибернетику|место=М.|год=1965}}
* {{книга|автор=[[Яглом, Акива Моисеевич|Яглом А. М.]], [[Яглом, Исаак Моисеевич|Яглом И. М.]]|заглавие=Вероятность и информация|место=М.|год=1973}}
* {{книга|автор=Волькенштейн М. В.|заглавие=Энтропия и информация|место=М.|издательство=Наука|год=1986|страниц=192}}
* {{книга|автор=Вентцель Е. С.|заглавие=Теория вероятностей|место=М.|издательство=Наука|год=1969|страниц=576|ref=Вентцель Е. С.}}
* {{книга|автор=Зарипов Р. Г.|заглавие=Новые меры и методы в теории информации|место=Казань|издательство=Изд-во Казан. гос. техн. ун-та|год=2005|страниц=364|ref=Зарипов Р. Г.}}
* {{книга|автор=Цыпкин Я. З.|заглавие=Информационная теория идентификации|место=М.|издательство=Наука. Физматлит|год=1995|страниц=336|ref=Цыпкин Я. З.}}
* {{книга|автор=Колмогоров А. Н.|заглавие= Теория информации и теория алгоритмов|место= М.|издательство=Наука|год=1987|страниц=304|ref=Колмогоров}}

== Ссылки ==
* [https://fractal-chaos.ru/ Фракталы и Хаос] — Проект издательства научно-популярной литературы [https://fractal-chaos.ru/strata-publishing-house/ «СТРАТА», СПб]

{{вс}}
{{Термодинамические потенциалы}}
{{rq|sources|refless}}

[[Категория:Теория хаоса]]
[[Категория:Термодинамические потенциалы]]
[[Категория:Релятивистские инварианты]]
[[Категория:Энтропия| ]]