Многомерное нормальное распределение

Пример выборки из многомерного нормального распределения в пределах 3 сигм двух частных распределений

Многоме́рное норма́льное распределе́ние (или многоме́рное га́уссовское распределе́ние) в теории вероятностей — это обобщение одномерного нормального распределения. Случайный вектор, имеющий многомерное нормальное распределение, называется гауссовским вектором.

Определения

Случайный вектор $𝐗=(X_1,\dots ,X_n{)}^{\mathrm{\top }}:\mathrm{\Omega }\to {ℝ}^n$ имеет многомерное нормальное распределение, если выполняется одно из следующих эквивалентных условий:

• Произвольная линейная комбинация компонентов вектора $\sum _{i=1}^n{a}_i{X}_i$ имеет нормальное распределение или является константой (это утверждение работает только если дисперсия равна 0).
• Существуют вектор независимых стандартных нормальных случайных величин $𝐙=(Z_1,\dots ,Z_m{)}^{\mathrm{\top }}$, вещественный вектор $\mathit{\mu }=({\mu }_1,\dots ,{\mu }_n{)}^{\mathrm{\top }}$ и матрица $𝐀$ размерности $n\times m$, такие что:

$𝐗=𝐀𝐙+\mathit{\mu }$.

• Существуют вектор $\mathit{\mu }\in {ℝ}^n$ и неотрицательно определённая симметричная матрица $\mathrm{\Sigma }$ размерности $n\times n$, такие что характеристическая функция вектора $𝐗$ имеет вид:

${\varphi }_{𝐗}(𝐮)=e^{i{\mathit{\mu }}^{\mathrm{\top }}𝐮-\frac{1}{2}{𝐮}^{\mathrm{\top }}\mathrm{\Sigma }𝐮},𝐮\in {ℝ}^n$.

Плотность невырожденного нормального распределения

• Если рассматривать только распределения с невырожденной ковариационной матрицей, то эквивалентным будет также следующее определение:

Существует вектор $\mathit{\mu }\in {ℝ}^n$ и положительно определённая симметричная матрица $\mathrm{\Sigma }$ размерности $n\times n$, такие что плотность вероятности вектора $𝐗$ имеет видШаблон:Sfn::

$f_{𝐗}(𝐱)=\frac{1}{(2\pi {)}^{n/2}|\mathrm{\Sigma }{|}^{1/2}}{e}^{-\frac{1}{2}(𝐱-\mathit{\mu }{)}^{\mathrm{\top }}{\mathrm{\Sigma }}^{-1}(𝐱-\mathit{\mu })},𝐱\in {ℝ}^n$,

где $|\mathrm{\Sigma }|$ — определитель матрицы $\mathrm{\Sigma }$, а ${\mathrm{\Sigma }}^{-1}$ — матрица обратная к $\mathrm{\Sigma }$

• Вектор $\mathit{\mu }$ является вектором средних значений $𝐗$, а $\mathrm{\Sigma }$ — его ковариационная матрица.
• В случае $n=1$, многомерное нормальное распределение сводится к обычному нормальному распределению.
• Если случайный вектор $𝐗$ имеет многомерное нормальное распределение, то пишут $𝐗\sim 𝒩(\mathit{\mu },\mathrm{\Sigma })$.

Двумерное нормальное распределение

Частным случаем многомерного нормального распределения является двумерное нормальное распределение. В этом случае имеем две случайные величины $X_1,X_2$ с математическими ожиданиями ${\mu }_1,{\mu }_2$, дисперсиями ${\sigma }_1^2,{\sigma }_2^2$ и ковариацией ${\sigma }_{12}$. В этом случае ковариационная матрица имеет размер 2, её определитель равен

$\mathrm{d}\mathrm{e}\mathrm{t}\mathrm{\Sigma }={\sigma }_1^2{\sigma }_2^2-{\sigma }_{12}^2={\sigma }_1^2{\sigma }_2^2(1-{\rho }^2),$

где $\rho =\frac{{\sigma }_{12}}{{\sigma }_1{\sigma }_2}$ — коэффициент корреляции случайных величин.

Тогда плотность двумерного невырожденного (коэффициент корреляции по модулю не равен единице) нормального распределения можно записать в виде:

$f(x_1,x_2)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}}\exp \{-\frac{1}{2(1-{\rho }^2)}[\frac{(x_1-{\mu }_1{)}^2}{{\sigma }_1^2}-\rho \frac{2(x_1-{\mu }_1)(x_2-{\mu }_2)}{{\sigma }_1{\sigma }_2}+\frac{(x_2-{\mu }_2{)}^2}{{\sigma }_2^2}]\}$.

В том случае, если $X\sim 𝒩({\mu }_1,{\sigma }_1^2),Y\sim 𝒩({\mu }_2,{\sigma }_2^2),cov(X,Y)={\sigma }_{12}$ (то есть $X,Y$ являются зависимыми), их сумма все еще распределена нормально, но в дисперсии появляется дополнительное слагаемое $2{\sigma }_{12}$: $X+Y\sim 𝒩({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2+2{\sigma }_{12})$.

Свойства многомерного нормального распределения

• Если вектор $𝐗=(X_1,\dots ,X_n{)}^{\mathrm{\top }}$ имеет многомерное нормальное распределение, то его компоненты $X_i,i=1,\dots ,n,$ имеют одномерное нормальное распределение. Обратное верно при независимости компонент.
• Если случайные величины $X_1,\dots ,X_n$ имеют одномерное нормальное распределение и совместно независимы, то случайный вектор $𝐗=(X_1,\dots ,X_n{)}^{\mathrm{\top }}$ имеет многомерное нормальное распределение. Матрица ковариаций $\mathrm{\Sigma }$ такого вектора диагональна.
• Если $𝐗=(X_1,\dots ,X_n{)}^{\mathrm{\top }}$ имеет многомерное нормальное распределение, и его компоненты попарно некоррелированы, то они независимы. Однако, если некоторые случайные величины $X_i,i=1,\dots ,n$ имеют одномерные нормальные распределения и попарно не коррелируют, то отсюда не следует, что они независимы и имеют многомерное нормальное распределение.

Пример. Пусть $X\sim 𝒩(0,1)$, а $\alpha =\pm 1$ с равными вероятностями и независима от указанной нормальной величины. Тогда если $Y=\alpha X\sim 𝒩(0,1)$, то корреляция $X$ и $Y$ равна нулю. Однако, эти случайные величины зависимы и в силу первого утверждения абзаца не имеют многомерного нормального распредедения.

• Многомерное нормальное распределение устойчиво относительно линейных преобразований. Если $𝐗\sim 𝒩(\mathit{\mu },\mathrm{\Sigma })$, а $𝐀$ — произвольная матрица размерности $m\times n$, то

$𝐀𝐗\sim \mathrm{N}(𝐀\mathit{\mu },𝐀\mathrm{\Sigma }{𝐀}^{\mathrm{\top }}).$

Таким преобразованием и сдвигом любое невырожденное нормальное распределение можно привести к вектору независимых стандартных нормальных величин.

Моменты многомерного нормального распределения

Пусть $X$ — центрированные (с нулевым математическим ожиданием) случайные величины имеющие многомерное нормальное распределение, тогда моменты ${\mu }_{i_1{i}_2{i}_3...i_k}=E(X_{i_1}{X}_{i_2}{X}_{i_3}...X_{i_k})$ для нечетных $k$ равно нулю, а для четных $k=2m$ вычисляется по формуле

$\sum {\sigma }_{i_{t_1}{i}_{t_2}}{\sigma }_{i_{t_3}{i}_{t_4}}{\sigma }_{i_{t_4}{i}_{t_5}}...{\sigma }_{i_{t_{k-1}}{i}_{t_k}}$

где суммирование осуществляется по всевозможным разбиениям индексов на пары. Количество множителей в каждом слагаемом равно $m$, количество слагаемых равно $\frac{(2m)!}{2^{m}m!}=\frac{(2m-1)!}{2^{m-1}(m-1)!}$

Например, для моментов четвертого порядка в каждом слагаемом по два множителя и общее количество слагаемых будет равно $4!/(2^2\cdot 2!)=(1\cdot 2\cdot 3\cdot 4)/(4\cdot 2\cdot 1)=3$. Соответствующая общая формула для моментов четвертого порядка имеет вид:

${\mu }_{ijkm}=E(X_i{X}_j{X}_k{X}_m)={\sigma }_{ij}{\sigma }_{km}+{\sigma }_{ik}{\sigma }_{jm}+{\sigma }_{im}{\sigma }_{kj}$

В частности если $i=j=k=m$

${\mu }_{iiii}=E(X_i^4)=3{\sigma }_{ii}^2=3{\sigma }_i^4$

При $i=j=k=m$

${\mu }_{iijj}=E(X_i^2{X}_j^2)={\sigma }_{ii}{\sigma }_{jj}+2{\sigma }_{ij}={\sigma }_i^2{\sigma }_j^2+2{\sigma }_{ij}$

При $i=j=k=m$

${\mu }_{iiij}=E(X_i^3{X}_j)={\sigma }_{ii}{\sigma }_{ij}+{\sigma }_{ii}{\sigma }_{ij}+{\sigma }_{ij}{\sigma }_{ii}=3{\sigma }_{ij}{\sigma }_{ii}=3{\sigma }_i^2{\sigma }_{ij}$

Условное распределение

Пусть случайные векторы $X$ и $Y$ имеют совместное нормальное распределение с математическими ожиданиями ${\mu }_X,{\mu }_Y$, ковариационными матрицами $V_X,V_Y$ и матрицей ковариаций $C_{XY}$. Это означает, что объединенный случайный вектор $𝒁=\left[\begin{array}{c}𝑿\\ 𝒀\end{array}\right]$ подчиняется многомерному нормальному распределению с вектором математического ожидания ${\mathit{\mu }}_Z=\left[\begin{array}{c}{\mathit{\mu }}_X\\ {\mathit{\mu }}_Y\end{array}\right]$ и ковариационной матрицей, которую можно представить в виде следующей блочной матрицы

${𝑽}_Z=\left[\begin{array}{cc}{𝑽}_X& {𝑪}_{XY}\\ {𝑪}_{YX}& {𝑽}_Y\end{array}\right]$,

где $C_{YX}=C_{XY}^T$.

Тогда случайный вектор $Y$ при заданном значении случайного вектора $X$ имеет (многомерное) нормальное условное распределение со следующим условным математическим ожиданием и условной ковариационной матрицей

$E(Y|X=x)={\mu }_Y+C_{YX}{V}_X^{-1}(x-{\mu }_X),V(Y|X=x)=V_Y-C_{YX}{V}_X^{-1}{C}_{XY}$.

Первое равенство определяет функцию линейной регрессии (зависимости условного математического ожидания вектора $Y$ от заданного значения x случайного вектора $X$), причем матрица $C_{XY}{V}^{-1}$ — матрица коэффициентов регрессии.

Условная ковариационная матрица представляет собой матрицу ковариаций случайных ошибок линейных регрессий компонентов вектора $Y$ на вектор $X$. В случае если $Y$ — обычная случайная величина (однокомпонентный вектор), условная ковариационная матрица — это условная дисперсия (по существу дисперсия случайной ошибки регрессии $Y$ на вектор $X$)

Литература

• Шаблон:Книга