Ковариационная матрица

Ковариацио́нная ма́трица (или ма́трица ковариа́ций) в теории вероятностей — это матрица, составленная из попарных ковариаций элементов одного или двух случайных векторов.

Ковариационная матрица случайного вектора — квадратная симметрическая неотрицательно определенная матрица, на диагонали которой располагаются дисперсии компонент вектора, а внедиагональные элементы — ковариации между компонентами.

Ковариационная матрица случайного вектора является многомерным аналогом дисперсии случайной величины для случайных векторов. Матрица ковариаций двух случайных векторов — многомерный аналог ковариации между двумя случайными величинами.

В случае нормально распределённого случайного вектора ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение (по аналогии с тем, что математическое ожидание и дисперсия нормально распределённой случайной величины полностью определяют её распределение)

Определения

• Пусть $𝐗:\mathrm{\Omega }\to {ℝ}^n$, $𝐘:\mathrm{\Omega }\to {ℝ}^m$ — два случайных вектора размерности $n$ и $m$ соответственно. Пусть также случайные величины $X_i,Y_j,i=1,\dots ,n,j=1,\dots ,m$ имеют конечный второй момент (дисперсию), то есть $X_i,Y_j\in L^2$. Тогда матрицей ковариации векторов $𝐗,𝐘$ называется

$\mathrm{\Sigma }=\mathrm{c}\mathrm{o}\mathrm{v}(𝐗,𝐘)=𝔼[(𝐗-𝔼𝐗)(𝐘-𝔼𝐘{)}^{\mathrm{\top }}],$

то есть

$\mathrm{\Sigma }=({\sigma }_{ij})$,

где

${\sigma }_{ij}=\mathrm{c}\mathrm{o}\mathrm{v}(X_i,Y_j)\equiv 𝔼[(X_i-𝔼X_i)(Y_j-𝔼Y_j)],i=1,\dots ,n,j=1,\dots ,m$,

$𝔼$ — математическое ожидание.

• Если $𝐗\equiv 𝐘$, то $\mathrm{\Sigma }$ называется матрицей ковариации вектора $𝐗$ и обозначается $\mathrm{c}\mathrm{o}\mathrm{v}(𝐗)$. Такая матрица ковариации является обобщением дисперсии для многомерной случайной величины, а её след — скалярным выражением дисперсии многомерной случайной величины. В связи с этим используется также обозначение $V(X)$ — дисперсия случайного вектора. Собственные векторы и собственные числа этой матрицы позволяют оценить размеры и форму облака распределения такой случайной величины, аппроксимировав его эллипсоидом (или эллипсом в двумерном случае).

Свойства матриц ковариации

• Сокращённая формула для вычисления матрицы ковариации:

$\mathrm{c}\mathrm{o}\mathrm{v}(𝐗)=𝔼\left[𝐗{𝐗}^{\mathrm{\top }}\right]-𝔼[𝐗]\cdot 𝔼\left[{𝐗}^{\mathrm{\top }}\right]$.

• Матрица ковариации случайного вектора неотрицательно определена:

$\mathrm{c}\mathrm{o}\mathrm{v}(𝐗)\ge 0$.

• Смена масштаба:

$\mathrm{c}\mathrm{o}\mathrm{v}\left({𝐚}^{\mathrm{\top }}𝐗\right)={𝐚}^{\mathrm{\top }}\mathrm{c}\mathrm{o}\mathrm{v}(𝐗)𝐚,\mathrm{\forall }𝐚\in {ℝ}^n$.

• Если случайные векторы $𝐗$ и $𝐘$ нескоррелированы ($\mathrm{c}\mathrm{o}\mathrm{v}(𝐗,𝐘)=\mathrm{𝟎}$), то

$\mathrm{c}\mathrm{o}\mathrm{v}(𝐗+𝐘)=\mathrm{c}\mathrm{o}\mathrm{v}(𝐗)+\mathrm{c}\mathrm{o}\mathrm{v}(𝐘)$.

• Матрица ковариации аффинного преобразования:

$\mathrm{c}\mathrm{o}\mathrm{v}(𝐀𝐗+𝐛)=𝐀\mathrm{c}\mathrm{o}\mathrm{v}(𝐗){𝐀}^{\mathrm{\top }}$,

где $𝐀$ — произвольная матрица размера $n\times n$, а $𝐛\in {ℝ}^n$.

• Перестановка аргументов:

$\mathrm{c}\mathrm{o}\mathrm{v}(𝐗,𝐘)=\mathrm{c}\mathrm{o}\mathrm{v}(𝐘,𝐗{)}^{\mathrm{\top }}$

• Матрица ковариации аддитивна по каждому аргументу:

$\mathrm{c}\mathrm{o}\mathrm{v}({𝐗}_1+{𝐗}_2,𝐘)=\mathrm{c}\mathrm{o}\mathrm{v}({𝐗}_1,𝐘)+\mathrm{c}\mathrm{o}\mathrm{v}({𝐗}_2,𝐘)$,

$\mathrm{c}\mathrm{o}\mathrm{v}(𝐗,{𝐘}_1+{𝐘}_2)=\mathrm{c}\mathrm{o}\mathrm{v}(𝐗,{𝐘}_1)+\mathrm{c}\mathrm{o}\mathrm{v}(𝐗,{𝐘}_2)$.

• Если $𝐗$ и $𝐘$ независимы, то

$\mathrm{c}\mathrm{o}\mathrm{v}(𝐗,𝐘)=\mathrm{𝟎}$.

Условная ковариационная матрица

Ковариационная матрица случайного вектора является характеристикой его распределения. В случае (многомерного) нормального распределения математическое ожидание вектора и его ковариационная матрица полностью определяют его распределение. Характеристиками условного распределения одного случайного вектора при условии заданного значения другого случайного вектора являются соответственно условное математическое ожидание (функция регрессии) и условная ковариационная матрица.

Пусть случайные векторы $X$ и $Y$ имеют совместное нормальное распределение с математическими ожиданиями ${\mu }_X,{\mu }_Y$, ковариационными матрицами $V_X,V_Y$ и матрицей ковариаций $C_{XY}$. Это означает, что объединенный случайный вектор $𝒁=\left[\begin{array}{c}𝑿\\ 𝒀\end{array}\right]$ подчиняется многомерному нормальному распределению с вектором математического ожидания ${\mathit{\mu }}_Z=\left[\begin{array}{c}{\mathit{\mu }}_X\\ {\mathit{\mu }}_Y\end{array}\right],$ и ковариационной матрицей которую можно представить в виде следующей блочной матрицы

${𝑽}_Z=\left[\begin{array}{cc}{𝑽}_X& {𝑪}_{XY}\\ {𝑪}_{YX}& {𝑽}_Y\end{array}\right]$ где $C_{YX}=C_{XY}^T$

Тогда случайный вектор $Y$ при заданном значении случайного вектора $X$ имеет нормальное распределение (условное) со следующим условным математическим ожиданием и условной ковариационной матрицей

$E(Y|X=x)={\mu }_Y+C_{YX}{V}_X^{-1}(x-{\mu }_X),V(Y|X=x)=V_Y-C_{YX}{V}_X^{-1}{C}_{XY}$

Первое равенство определяет функцию линейной регрессии (зависимости условного математического ожидания вектора $Y$ от заданного значения x случайного вектора $X$), причем матрица $C_{XY}{V}^{-1}$ - матрица коэффициентов регрессии.

Условная ковариационная матрица представляет собой матрицу ковариаций случайных ошибок линейных регрессий компонентов вектора $Y$ на вектор $X$.

В случае если $Y$ - обычная случайная величина (однокомпонентный вектор), условная ковариационная матрица - это условная дисперсия (по существу - случайной ошибки регрессии $Y$ на вектор $X$)