Среднее степенное взвешенное

Среднее степенное взвешенное — разновидность среднего значения. Для набора положительных вещественных чисел $x_1,\dots ,x_n$ с параметром $q\ne 0$ и неотрицательными весами $w_1,\dots ,w_n$ определяется как

$\overline{x}={\left(\frac{\sum _{i=1}^n{w}_i{x}_i^q}{\sum _{i=1}^n{w}_i}\right)}^{1/q}$.

Если веса $w_1,\dots ,w_n$ нормированы к единице (то есть их сумма равна единице), то выражение для среднего степенного взвешенного принимает вид

$\overline{x}={\left(\sum _{i=1}^n{w}_i{x}_i^q\right)}^{1/q}$.

Свойства

• В том случае, если все веса $w_i$ равны между собой, среднее степенное взвешенное равно среднему степенному.
• Среднее арифметическое взвешенное и среднее гармоническое взвешенное являются частными случаями среднего степенного взвешенного при соответственно $q=1$ и $q=-1$.
• В пределе при $q\to 0$ среднее степенное взвешенное сходится к среднему геометрическому взвешенному.

Связь с энтропией Реньи

Информационную энтропию некоторой системы можно определить как логарифм числа доступных состояний системы (или их эффективного количества, если состояния не равновероятны). Учтём, что вероятности $p_i$ пребывания системы в состоянии с номером $i$ ($i=1,\dots ,N$) нормированы к $1$. Если состояния системы равновероятны и имеют вероятность $p$, то $N=1/p$. В случае разных вероятностей состояний $p_i$ определим эффективное количество состояний $\bar{N}$ как среднее степенное взвешенное от величин $x_i=1/p_i$ с весами $p_i$ и параметром $q=1-\alpha$ (где $\alpha \ne 1$):

$\bar{N}={\left(\sum _{i=1}^N{p}_i{x}_i^q\right)}^{1/q}={(\sum _{i=1}^N{p}_i(1/p_i{)}^{1-\alpha })}^{\frac{1}{1-\alpha }}={\left(\sum _{i=1}^N{p}_i^{\alpha }\right)}^{\frac{1}{1-\alpha }}$.

Отсюда получаем выражение для энтропии

$H=\log \bar{N}=\log {\left(\sum _{i=1}^N{p}_i^{\alpha }\right)}^{\frac{1}{1-\alpha }}=\frac{1}{1-\alpha }\log \sum _{i=1}^N{p}_i^{\alpha }$,

совпадающее с выражением для энтропии РеньиШаблон:Sfn. Нетрудно видеть, что в пределе при $\alpha \to 1$ (или $q\to 0$) энтропия Реньи сходится к энтропии Шеннона (при том, что среднее степенное взвешенное — к среднему геометрическому взвешенному). По определению энтропии Реньи должно соблюдаться дополнительное ограничение $\alpha \ge 0$ (или $q\le 1$).

Литература

• Шаблон:Книга