Центральная предельная теорема

«Сглаживание» распределения суммированием. Показана функция плотности вероятности одной случайной величины, а также распределения суммы двух, трёх и четырёх случайных величин с такой же функцией распределения.

Какова бы ни была форма распределения генеральной совокупности, распределение выборочного среднего стремится к нормальному, а его дисперсия задается центральной предельной теоремой.

Центра́льные преде́льные теоре́мы (ЦПТ) — класс теорем в теории вероятностей, утверждающих, что сумма достаточно большого количества слабо зависимых случайных величин, имеющих примерно одинаковые масштабы (ни одно из слагаемых не доминирует, не вносит в сумму определяющего вклада), имеет распределение, близкое к нормальному.

Так как многие случайные величины в приложениях формируются под влиянием нескольких слабо зависимых случайных факторов, их распределение считают нормальным. При этом должно соблюдаться условие, что ни один из факторов не является доминирующим. Центральные предельные теоремы в этих случаях обосновывают применение нормального распределения.

Классическая ЦПТ

Пусть $X_1,\dots ,X_n$ есть последовательность независимых одинаково распределённых случайных величин, имеющих конечные математическое ожидание $\mu$ и дисперсию ${\sigma }^2$. Пусть также

$S_n=\sum _{i=1}^n{X}_i$.

Тогда

$\frac{S_n-\mu n}{\sigma \sqrt{n}}\to N(0,1)$ по распределению при $n\to \mathrm{\infty }$,

где $N(0,1)$ — нормальное распределение с нулевым математическим ожиданием и стандартным отклонением, равным единице. Определяя выборочное среднее первых $n$ величин как

${\overline{X}}_n=\frac{1}{n}\sum _{i=1}^n{X}_i$,

можно переписать результат центральной предельной теоремы в следующем виде (ЦПТ в форме Леви):

$\sqrt{n}\frac{{\overline{X}}_n-\mu }{\sigma }\to N(0,1)$ по распределению при $n\to \mathrm{\infty }$.

Скорость сходимости можно оценить с помощью неравенства Берри — Эссеена.

Замечания

• Неформально говоря, классическая центральная предельная теорема утверждает, что сумма $n$ независимых одинаково распределённых случайных величин имеет распределение, близкое к $N(n\mu ,n{\sigma }^2)$. Эквивалентно, ${\overline{X}}_n$ имеет распределение близкое к $N(\mu ,{\sigma }^2/n)$.
• Так как функция распределения стандартного нормального распределения непрерывна, сходимость к этому распределению эквивалентна поточечной сходимости функций распределения к функции распределения стандартного нормального распределения. Положив $Z_n=\frac{S_n-\mu n}{\sigma \sqrt{n}}$, получаем $F_{Z_n}(x)\to \mathrm{\Phi }(x),\mathrm{\forall }x\in ℝ$, где $\mathrm{\Phi }(x)$ — функция распределения стандартного нормального распределения.
• Центральная предельная теорема в классической формулировке доказывается методом характеристических функций (теорема Леви о непрерывности).
• Вообще говоря, из сходимости функций распределения не вытекает сходимость плотностей. Тем не менее в данном классическом случае это имеет место.

Локальная ЦПТ

В предположениях классической формулировки, допустим в дополнение, что распределение случайных величин $\{X_i{\}}_{i=1}^{\mathrm{\infty }}$ абсолютно непрерывно, то есть оно имеет плотность. Тогда распределение $Z_n$ также абсолютно непрерывно, и более того,

$f_{Z_n}(x)\to \frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}$ при $n\to \mathrm{\infty }$,

где $f_{Z_n}(x)$ — плотность случайной величины $Z_n$, а в правой части стоит плотность стандартного нормального распределения.

Обобщения

Результат классической центральной предельной теоремы справедлив для ситуаций гораздо более общих, чем полная независимость и одинаковая распределённость.

ЦПТ Линдеберга

Пусть независимые случайные величины $X_1,\dots ,X_n,\dots$ определены на одном и том же вероятностном пространстве и имеют конечные математические ожидания и дисперсии: $𝔼[X_i]={\mu }_i,\mathrm{D}[X_i]={\sigma }_i^2$.

Пусть $S_n=\sum _{i=1}^n{X}_i$.

Тогда $𝔼[S_n]=m_n=\sum _{i=1}^n{\mu }_i,\mathrm{D}[S_n]=s_n^2=\sum _{i=1}^n{\sigma }_i^2$.

И пусть выполняется условие Линдеберга:

$\mathrm{\forall }\epsilon >0,\lim {\mathrm{\backslash limits}}_{n\to \mathrm{\infty }}\sum _{i=1}^n𝔼\left[\frac{(X_i-{\mu }_i{)}^2}{s_n^2}{\mathrm{𝟏}}_{\{|X_i-{\mu }_i|>\epsilon s_n\}}\right]=0,$

где ${\mathrm{𝟏}}_{\{|X_i-{\mu }_i|>\epsilon s_n\}}$ функция — индикатор.

Тогда

$\frac{S_n-m_n}{s_n}\to N(0,1)$ по распределению при $n\to \mathrm{\infty }$.

ЦПТ Ляпунова

Пусть выполнены базовые предположения ЦПТ Линдеберга. Пусть случайные величины $\{X_i\}$ имеют конечный третий момент. Тогда определена последовательность

$r_n^3=\sum _{i=1}^n𝔼[|X_i-{\mu }_i{|}^3]$.

Если предел

$\lim {\mathrm{\backslash limits}}_{n\to \mathrm{\infty }}\frac{r_n}{s_n}=0$ (условие Ляпунова),

то

$\frac{S_n-m_n}{s_n}\to N(0,1)$ по распределению при $n\to \mathrm{\infty }$.

ЦПТ для мартингалов

Пусть процесс $(X_n{)}_{n\in \mathbb{N}}$ является мартингалом с ограниченными приращениями. В частности, допустим, что

$𝔼[X_{n+1}-X_n\mid X_1,\dots ,X_n]=0,n\in \mathbb{N},X_0\equiv 0,$

и приращения равномерно ограничены, то есть

$\mathrm{\exists }C>0\mathrm{\forall }n\in \mathbb{N}|X_{n+1}-X_n|\le C$ п.н.

Введём случайные процессы ${\sigma }_n^2$ и ${\tau }_n$ следующим образом:

${\sigma }_n^2=𝔼[(X_{n+1}-X_n{)}^2\mid X_1,\dots ,X_n]$

и

${\tau }_n=\min \left\{k|\sum _{i=1}^k{\sigma }_i^2\ge n\right\}$.

Тогда

$\frac{X_{{\tau }_n}}{\sqrt{n}}\to N(0,1)$ по распределению при $n\to \mathrm{\infty }$.

ЦПТ для случайных векторов

Пусть $\overrightarrow{X_1},\dots ,\overrightarrow{X_n},\dots$ последовательность независимых и одинаково распределённых случайных векторов, каждый из которых имеет среднее $E\overrightarrow{X_1}=\overrightarrow{a}$ и невырожденную матрицу ковариаций $\mathrm{\Sigma }$. Обозначим через $S_n=\overrightarrow{X_1}+\dots +\overrightarrow{X_n}$ вектор частичных сумм. Тогда при $n\to \mathrm{\infty }$ имеет место слабая сходимость распределений векторов

$\overrightarrow{{\eta }_n}=\frac{S_n-na}{\sqrt{n}}\stackrel{weak}{\to }\overrightarrow{\eta }$, где $\overrightarrow{\eta }$ имеет распределение $N(\overrightarrow{0},\mathrm{\Sigma })$.

См. также

• Закон больших чисел
• Закон повторного логарифма

Ссылки

• Предельные теоремы теории вероятностей. Примеры использования