Производящая функция вероятностей

В теории вероятностей, производящая функция вероятностей дискретной случайной величины представляет собой степенной ряд функции вероятности случайной величины. Производящие функции вероятностей часто используются для краткого описания их последовательности вероятностей P(X=i) для случайного величины Х, с возможностью применить теорию степенных рядов с неотрицательными коэффициентами.

Определение

Одномерный случай

Если Х является дискретной случайной величиной, принимающей неотрицательные целочисленные значения {0,1, ...}, тогда производящая функция вероятностей от случайной величины Х определяется как

$G(z)=M(z^X)=\sum _{x=0}^{\mathrm{\infty }}p(x)z^x$

где p – это функция вероятности от Х. Заметим, что индексы обозначения G_X и p_X часто используются, чтобы подчеркнуть, что они относятся к конкретной случайной величине Х и ее распределению. Степенной ряд абсолютно сходится, по крайней мере, для всех комплексных чисел z, |z| ≤ 1; во многих примерах радиус сходимости больше.,c

Многомерный случай

Если X = (X₁,...,X_d) является дискретной случайной величиной, принимающей значения из d-мерной неотрицательной целочисленной решетки {0,1, ...}^d, тогда производящая функция вероятностей от Х определена как

$G(z)=G(z_1,...,z_d)=M(z_1^{X_1}...z_d^{X_d})=\sum _{x_1,...,x_d=0}^{\mathrm{\infty }}p(x_1,...,x_d)z_1^{x_1}...z_d^{x_d}$

где p – это функция вероятности от Х. Степенной ряд абсолютно сходится по крайней мере для всех комплексных векторов z = (z₁,...,z_d ) ∈ ℂ^d с максимумом {|z₁|,...,|z_d |} ≤ 1.)

Свойства

Степенные ряды

Производящие функции вероятностей подчиняются всем правилам степенных рядов с неотрицательными коэффициентами. В частности, G(1⁻) = 1, где G(1⁻) = lim_z→1G(z) снизу, поскольку сумма вероятностей должна равняться 1. Таким образом, радиус сходимости любой производящей функции вероятностей должен быть как минимум 1, по теореме Абеля для степенных рядов с неотрицательными коэффициентами.

Вероятности и ожидания

Следующие свойства позволяют сделать вывод о различных базовых величинах, связанных с $X$:

1. Функция вероятности от $X$ восстанавливается взятием производной $G$

$p(k)=P(X=k)=\frac{G^{(k)}(0)}{k!}$

2. Из свойства 1 следует, что если случайные величины $X$ и $Y$ имеют равные производящие функции вероятностей ( $G_X$ = $G_Y$), тогда $p_X(k)=p_Y(k)$.То есть, если $X$ и $Y$ имеют одинаковые производящие функции вероятностей, то они имеют также и одинаковые распределения.

3. Нормализация функции плотности может быть выражена в терминах производящей функции

$M(1)=G(1^{-})=\sum _{i=0}^{\mathrm{\infty }}p(i)=1$

Математическое ожидание X задается как

$M(X)=G^{\prime }(1^{-})$

В более общем плане, k-ый факториальный момент,$E(X(X-1)...(X-k+1)))$ от X задается как

$M\left(\frac{X!}{(X-k)!}\right)=G^{(k)}(1^{-}),k\ge 0$

Таким образом, дисперсия Х задается как

$D(X)=G^{″}(1^{-})+G^{\prime }(1^{-})-[G^{\prime }(1^{-}){]}^2$

4. $G_X(e^t)=M_X(t)$, где $X$ – это случайная величина. $G_X(t)$ - это производящая функция вероятностей и $M_X(t)$ – это производящая функция моментов.

Функции независимых случайных величин

Производящие функции вероятностей полезны в частности для работы с функциями независимых случайных величин. Например:

• Если X₁, X₂, ..., X_n представляет собой последовательность независимых (и не обязательно одинаково распределенных) случайных величин, и

$S_n=\sum _{i=1}^n{a}_i{X}_i,$

где a_i – константы, тогда производящая функция вероятностей определяется как

$G_{S_n}(z)=M(z^{S_n})=M(z^{\sum _{i=1}^n{a}_i{X}_i})=G_{x_1}(z^{a_1})G_{x_2}(z^{a_2})...G_{x_n}(z^{a_n})$

Например, если

$S_n=\sum _{i=1}^n{X}_i,$

тогда производящая функция вероятностей, G_Sn(z), определяется как

$G_{S_n}(z)=G_{x_1}(z)G_{x_2}(z)...G_{x_n}(z)$

Из этого также следует, что производящая функция разности двух независимых случайных переменных S = X₁ − X₂ определяется как

$G_S(z)=G_{X_1}(z)G_{X_2}(1/z)$

• Предположим, что N также является независимой, дискретной случайной величиной, принимающая неотрицательные целочисленные значения, с производящей функцией вероятностей G_N. Если X₁, X₂, ..., X_N независимы и одинаково распределены с общей производящей функцией вероятностей G_X, тогда

$G_{S_N}(z)=G_N(G_X(z))$

Это можно увидеть, используя закон полного математического ожидания следующим образом:

$G_{S_N}(z)=M(z^{S_N})=M(z^{\sum _{i=1}^N{X}_i})=M(M(z^{\sum _{i=1}^N{X}_i}|N))=M((G_X(z){)}^N)=G_N(G_X(z))$

Этот последний факт полезен при изучении процессов Гальтона-Ватсона.

• Пусть снова N также является независимой, дискретной случайной величиной, принимающей неотрицательные целочисленные значения, с производящей функцией вероятностей G_N и плотностью вероятности f_i=P{N=i}. Если X₁, X₂, ..., X_n независимы, но неодинаково распределенные случайные величины, где G_Xi обозначает производящую функцию вероятностей от X_i, тогда

$G_{S_N}(z)=\sum _{i\ge 1}{f}_i\prod _{k=1}^i{G}_{X_i}(z)$

Для одинаково распределенных X_i это упрощает тождественность указанную ранее. В общем случае иногда полезно получить разложение S_N с помощью производящих функций вероятностей.

Примеры

• Производящая функция вероятностей для постоянной случайной величины принимающей одно значение c (P(X=c) = 1) есть

$G(z)=z^c$

• Производящая функция вероятностей для случайной величины с биномиальным распределением есть

$G(z)=[(1-p)+pz{]}^n$

Очевидно, что это n-кратное произведение производящих функции случайной величины с распределением Бернулли с параметром p

Таким образом производящая функция случайной величины бросания честной монеты

$G(z)=1/2+z/2$

• Производящая функция вероятностей для случайной величины с отрицательным биномиальным распределением с вероятностью успеха p, проводимой до r-го успеха

$G(z)={\left(\frac{p}{1-(1-p)z}\right)}^r$

(Сходится при $\left|z\right|<\frac{1}{1-p}$ )

Очевидно, что это r-кратное произведение производящих функции случайных величин с геометрическим распределением с параметром (1-p)

• Производящая функция вероятностей для случайной величины с распределением Пуассона с параметром λ есть

$G(z)=e^{\lambda (z-1)}$

Ссылки

• Johnson, N.L.; Kotz, S.; Kemp, A.W. (1993) Univariate Discrete distributions (2nd edition). Wiley. ISBN 0-471-54897-9 (Section 1.B9)