Энтропия Цаллиса

В статистической термодинамике энтропия Цаллиса — обобщение стандартной энтропии Больцмана—Гиббса, предложенное Константино Цаллисом (Constantino Tsallis) в 1988 г. для случая неэкстенсивных (неаддитивных) систем. Его гипотеза базируется на предположении, что сильное взаимодействие в термодинамически аномальной системе приводит к новым степеням свободы, к совершенно иной статистической физике небольцмановского типа.

Определение и основные сведения

Пусть $P$ — распределение вероятностей и $\mu$ — любая мера на $X$, для которой существует абсолютно непрерывная относительно $\mu$ функция $p=\frac{dP}{d\mu }$. Тогда энтропия Цаллиса определяется как

$S_q(P)=\frac{k}{q-1}(1-\underset{X}{\overset{}{\int }}{p}^{q}d\mu ).$

В частности, для дискретной системы, находящейся в одном из $N$ доступных состояний с распределением вероятностей $P=\{p_i|i=1,2,...,N\}$,

$S_q(P)=\frac{k}{q-1}(1-\sum _{i=1}^N{p}_i^q)$.

В случае лебеговой меры $\mu =x$, т.е. когда $P$ — непрерывное распределение с плотностью $p(x)$, заданной на множестве $X$,

$S_q(P)=\frac{k}{q-1}(1-\underset{X}{\overset{}{\int }}{p}^q(x)dx)$.

В этих формулах $k$ — некоторая положительная константа, которая определяет единицу измерения энтропии и в физических формулах служит для связки размерностей, как, например, постоянная Больцмана. С точки зрения задачи оптимизации энтропии данная константа является несущественной, поэтому для простоты часто полагают $k=1$.

Параметр $q$ — безразмерная величина ($q\in R$), которая характеризует степень неэкстенсивности (неаддитивности) рассматриваемой системы. В пределе при $q\to 1$, энтропия Цаллиса сходится к энтропии Больцмана—Гиббса. При $q>0$ энтропия Цаллиса является вогнутым функционалом от распределения вероятностей и, как обычная энтропия, достигает максимума при равномерном распределении. При $q<0$ функционал является выпуклым и при равномерном распределении достигает минимума. Поэтому для поиска равновесного состояния изолированной системы при $q>0$ энтропию Цаллиса нужно максимизировать, а при $q<0$ — минимизировать. Значение параметра $q=0$ — это вырожденный случай энтропии Цаллиса, когда она не зависит от $P$, а зависит лишь от $\mu (X)$, т.е. от размера системы (от $N$ в дискретном случае).

В непрерывном случае иногда требуют, чтобы носитель случайной величины $X$ был безразмерным. Это обеспечивает корректность функционала энтропии с точки зрения размерности.

Исторически первыми выражение для энтропии Цаллиса (точнее, для частного её случая при $k=\frac{q-1}{1-2^{1-q}}$) получили Дж. Хаврда и Ф. Чарват (J. Havrda and F. Charvát) в 1967 г. Вместе с тем при $q>0$ энтропия Цаллиса является частным случаем f-энтропии (при $q<0$ f-энтропией является величина, противоположная энтропии Цаллиса).

Некоторые соотношения

Энтропия Цаллиса может быть получена из стандартной формулы для энтропии Больцмана—Гиббса путём замены используемой в ней функции $\ln x$ на функцию

${\ln }_{q}x=\frac{x^{q-1}-1}{q-1}$

— так называемый q-деформированный логарифм или просто q-логарифм (в пределе при $q\to 1$ совпадающий с логарифмом). К. Цаллис использовал несколько иную формулу q-логарифма, которая сводится к приведённой здесь заменой параметра $q$ на $2-q$.

Ещё один способ получить энтропию Цаллиса основан на соотношении, справедливом для энтропии Больцмана—Гиббса:

$S(P)=-k\underset{t\to 1}{\lim }\frac{d}{dt}\sum _{i=1}^N{p}_i^t$.

Нетрудно видеть, что если заменить в этом выражении обычную производную на q-производную (известную также как производная Джексона), получается энтропия Цаллиса:

$S_q(P)=-k\underset{t\to 1}{\lim }{\left(\frac{d}{dt}\right)}_q\sum _{i=1}^N{p}_i^t$.

Аналогично для непрерывного случая:

$S_q(P)=-k\underset{t\to 1}{\lim }{\left(\frac{d}{dt}\right)}_q\underset{X}{\overset{}{\int }}{p}^t(x)dx$.

Альтернативное определение

Оригинальное определение энтропии Цаллиса является не очень удачным из-за необходимости по-разному работать с функционалом в зависимости от знака $q$, а также из-за того, что при $q<0$ не выполняется базовое свойство возрастания энтропии при приближении системы к равновесному состоянию. В связи с этим более удобным является следующее определение энтропии Цаллиса, известное также как α-энтропия, являющаяся частным случаем f-энтропии:

$S_q(P)=\frac{k}{q(q-1)}(1-\underset{X}{\overset{}{\int }}{p}^{q}d\mu ).$

α-энтропия в пределе при $q\to 0$ с точностью до несущественного слагаемого эквивалентна энтропии Берга

$S_0(P)=k\underset{X}{\overset{}{\int }}\ln pd\mu .$

Нетрудно видеть, что оригинальное и альтернативное определение энтропии Цаллиса эквивалентны с точностью до значения $k$, кроме случая $q=0$.

Неэкстенсивность (неаддитивность)

Пусть имеются две независимых системы $A$ и $B$, т.е. такие системы, что в дискретном случае совместная вероятность появления двух любых состояний $a\in A$ и $b\in B$ в этих системах равна произведению соответствующих вероятностей:

$\mathrm{Prob}(a,b)=\mathrm{Prob}(a)\mathrm{Prob}(b)$,

а в непрерывном — совместная плотность распределения вероятностей равна произведению соответствующих плотностей:

$p_{AB}(x,y)=p_A(x)p_B(y)$,

где $x\in X$, $y\in Y$ — области значений случайной величины в системах $A$ и $B$ соответственно.

В отличие от энтропии Больцмана—Гиббса и энтропии Реньи, энтропия Цаллиса, вообще говоря, не обладает аддитивностью, и для совокупности систем справедливо

$S_q(AB)=S_q(A)+S_q(B)+\frac{1-q}{k}{S}_q(A)S_q(B)$.

Поскольку условие аддитивности для энтропии имеет вид

$S(AB)=S(A)+S(B)$,

отклонение параметра $q$ от $1$ характеризует неэкстенсивность (неаддитивность) системы. Энтропия Цаллиса является экстенсивной только при $q=1$.

Дивергенция Цаллиса

Наряду с энтропией Цаллиса, рассматривают также семейство несимметричных мер расхождения (дивергенций) Цаллиса между распределениями вероятностей с общим носителем. Для двух дискретных распределений с вероятностями $A=\{a_i\}$ и $B=\{b_i\}$, $i=1,2,...,N$, дивергенция Цаллиса определяется как

$D_q(A,B)=\frac{k}{q-1}(\sum _{i=1}^N{a}_i^q{b}_i^{1-q}-1)$.

В непрерывном случае, если распределения $A$ и $B$ заданы плотностями $a(x)$ и $b(x)$ соответственно, где $x\in X$,

$D_q(A,B)=\frac{k}{q-1}(\underset{X}{\overset{}{\int }}{a}^q(x)b^{1-q}(x)dx-1)$.

В отличие от энтропии Цаллиса, дивергенция Цаллиса определена при $q>0$. Несущественная положительная константа $k$ в этих формулах, как и для энтропии, задаёт единицу измерения дивергенции и часто опускается (полагается равной $1$). Дивергенция Цаллиса является частным случаем α-дивергенции (с точностью до несущественной мультипликативной константы) и, как α-дивергенция, является выпуклой по обоим аргументам при всех $q>0$. Дивергенция Цаллиса также является частным случаем f-дивергенции. α-дивергенция может служить обобщением дивергенции Цаллиса на все $q\in R$.

Дивергенция Цаллиса может быть получена из формулы для дивергенции Кульбака—Лейблера путём подстановки в неё q-деформированного логарифма, определённого выше, вместо функции $\ln x$. В пределе при $q\to 1$ дивергенция Цаллиса сходится к дивергенции Кульбака—Лейблера.

Связь формализмов Реньи и Цаллиса

Энтропия Реньи и энтропия Цаллиса эквивалентны с точностью до монотонного преобразования, не зависящего от распределения состояний системы. То же касается соответствующих дивергенций. Рассмотрим, к примеру, энтропию Реньи для системы $P$ с дискретным набором состояний $\{p_i|i=1,2,...,N\}$:

${\tilde{S}}_q(P)=\frac{\tilde{k}}{1-q}\ln \sum _{i=1}^N{p}_i^q$, $q\ge 0$.

Дивергенция Реньи для дискретных распределений с вероятностями $A=\{a_i\}$ и $B=\{b_i\}$, $i=1,2,...,N$:

${\tilde{D}}_q(A,B)=\frac{\tilde{k}}{q-1}\ln \sum _{i=1}^N{a}_i^q{b}_i^{1-q}$, $q>0$.

В этих формулах положительная константа $\tilde{k}$ имеет тот же смысл, что и $k$ в формализме Цаллиса.

Нетрудно видеть, что

$S_q(P)=T_{2-q}({\tilde{S}}_q(P))$,

$D_q(A,B)=T_q({\tilde{D}}_q(A,B))$,

где функция

$T_q(x)=k\frac{\exp (x(q-1)/\tilde{k})-1}{q-1}$

определена на всей числовой оси и непрерывно возрастает по $x$ (при $q=1$ полагаем $T_q(x)=\frac{k}{\tilde{k}}x$). Приведённые соотношения имеют место и в непрерывном случае.

Несмотря на наличие этой связи, следует помнить, что функционалы в формализмах Реньи и Цаллиса обладают разными свойствами:

• энтропия Цаллиса, вообще говоря, не аддитивна, тогда как энтропия Реньи аддитивна при всех $q$ (при $q\le 0$ подразумевается обобщённое выражение для энтропии Реньи);
• энтропия и дивергенция Цаллиса являются вогнутыми или выпуклыми (кроме $q=0$), тогда как энтропия и дивергенция Реньи, вообще говоря, не обладают ни тем, ни другим свойством.