Условное математическое ожидание

Шаблон:К объединению Шаблон:Нет источников Шаблон:Seealso Условное математическое ожидание в теории вероятностей — это среднее значение случайной величины при выполнении некоторого условия (реализации каких-то событий). Часто в качестве условия выступает фиксированное на некотором уровне значение другой случайной величины, которая может быть связана с данной (если эти случайные величины независимы, то условное математическое ожидание совпадает с (безусловным) математическим ожиданием). В этом случае условное математическое ожидание случайной величины $Y$ при условии, что случайная величина $X$ приняла значение $x$ обозначается как $E(Y|X=x)$, соответственно, ее можно рассматривать как функцию от $x$. Эта функция называется функцией регрессии случайной величины $Y$ на случайную величину $X$ и поэтому условное математическое ожидание обозначают как $E(Y|X)$, то есть без указания фиксированного значения $x$.

Условное математическое ожидание - это характеристика условного распределения.

Определения

Будем считать, что дано вероятностное пространство $(\mathrm{\Omega },ℱ,\mathbb{P})$. Пусть $X:\mathrm{\Omega }\to ℝ$ — интегрируемая случайная величина, то есть $𝔼|X|<\mathrm{\infty }$. Пусть также $𝒢\subset ℱ$ — σ-подалгебра σ-алгебры $ℱ$.

УМО относительно σ-алгебры

Случайная величина $\hat{X}$ называется условным математическим ожиданием $X$ относительно σ-алгебры $𝒢$, если

• $\hat{X}$ измерима относительно $𝒢$.
• $\mathrm{\forall }A\in 𝒢,𝔼\left[\hat{X}{\mathrm{𝟏}}_A\right]=𝔼[X{\mathrm{𝟏}}_A]$,

где ${\mathrm{𝟏}}_A$ — индикатор события $A$ (иными словами, это характеристическая функция множества-события, аргументом которой является случайная величина или элементарный исход). Условное математическое ожидание обозначается $𝔼[X\mid 𝒢]$.

Пример. Пусть $\mathrm{\Omega }=\{1,2,3,4\},ℱ=2^{\mathrm{\Omega }},\mathbb{P}(\omega )=1/4,\omega =1,\dots ,4.$ Положим $𝒢=\{\varnothing ,\{1,2\},\{3,4\},\mathrm{\Omega }\}$. Тогда $𝒢$ — σ-алгебра, и $𝒢\subset ℱ$. Пусть случайная величина $X$ имеет вид

$X(\omega )={\omega }^2,\omega =1,\dots ,4$.

Тогда

$𝔼[X\mid 𝒢](\omega )=\{\begin{array}{cc}\frac{5}{2},& \omega =1,2\\ \frac{25}{2},& \omega =3,4.\end{array}$

УМО относительно семейства событий

Пусть $𝒞=\{C_{\alpha }\}\subset ℱ$ — произвольное семейство событий. Тогда условным математическим ожиданием $X$ относительно $𝒞$ называется

$𝔼[X\mid 𝒞]\equiv 𝔼[X\mid \sigma (𝒞)]$,

где $\sigma (𝒞)$ — минимальная сигма-алгебра, содержащая $𝒞$.

Пример. Пусть $\mathrm{\Omega }=\{1,2,3,4\},ℱ=2^{\mathrm{\Omega }},\mathbb{P}(\omega )=1/4,\omega =1,\dots ,4.$ Пусть также $C=\{1,2,3\}$. Тогда $\sigma (C)=\{\varnothing ,\{1,2,3\},\{4\},\mathrm{\Omega }\}\subset ℱ$. Пусть случайная величина $X$ имеет вид

$X(\omega )={\omega }^2,\omega =1,\dots ,4$.

Тогда

$𝔼[X\mid 𝒞](\omega )=\{\begin{array}{cc}\frac{14}{3},& \omega =1,2,3\\ 16,& \omega =4.\end{array}$

УМО относительно случайной величины

Пусть $Y:\mathrm{\Omega }\to ℝ$ другая случайная величина. Тогда условным математическим ожиданием $X$ относительно $Y$ называется

$𝔼[X\mid Y]\equiv 𝔼[X\mid \sigma (Y)]$,

где $\sigma (Y)$ — σ-алгебра, порождённая случайной величиной $Y$.

Другое определение УМО $X$ относительно $Y$ :

$𝔼(X\mid Y)=𝔼(X\mid Y=y){\mid }_{y=Y}$

Такое определение конструктивно описывает алгоритм нахождения УМО:

• найти математическое ожидание случайной величины $X$, принимая $Y$ за константу $y$;
• Затем в полученном выражении $y$ обратно заменить на случайную величину $Y$.

Пример: $X\equiv N(a,{\sigma }^2)$

$𝔼[\frac{X}{Y}\mid Y]=𝔼\left[\frac{X}{y}\right]{\mid }_{y=Y}=\frac{1}{y}𝔼[X]{\mid }_{y=Y}=\frac{a}{y}{\mid }_{y=Y}=\frac{a}{Y}$

Условная вероятность

Пусть $B\in ℱ$ — произвольное событие, и ${\mathrm{𝟏}}_B$ — его индикатор. Тогда условной вероятностью $B$ относительно $𝒢$ называется

$\mathbb{P}(B\mid 𝒢)\equiv 𝔼[{\mathrm{𝟏}}_B\mid 𝒢]$.

Замечания

• Условное математическое ожидание — это случайная величина, а не число.
• Условное математическое ожидание определено с точностью до событий вероятности нуль. Таким образом, если ${\hat{X}}_1=𝔼[X\mid 𝒢]$ и ${\hat{X}}_1={\hat{X}}_2$ $\mathbb{P}$-почти всюду, то ${\hat{X}}_2=𝔼[X\mid 𝒢]$. Отождествив случайные величины, различающиеся лишь на событиях вероятности нуль, получаем единственность условного математического ожидания.
• Взяв $A=\mathrm{\Omega }$, получаем по определению:

$𝔼[X]=𝔼[𝔼[X\mid 𝒢]]$,

и в частности справедлива формула полной вероятности:

$\mathbb{P}(B)=𝔼[\mathbb{P}(B\mid 𝒢)]$.

• Пусть σ-алгебра $𝒢=\sigma (C_1,\dots ,C_n)$ порождена разбиением $\{C_i{\}}_{i=1}^{\mathrm{\infty }}$. Тогда

$𝔼[X\mid 𝒢]=\sum _{i=1}^{\mathrm{\infty }}𝔼[X\mid C_i]{\mathrm{𝟏}}_{C_i}$.

В частности формула полной вероятности принимает классический вид:

$\mathbb{P}(A\mid 𝒢)=\sum _{i=1}^{\mathrm{\infty }}\mathbb{P}(A\mid C_i){\mathrm{𝟏}}_{C_i}$,

а следовательно

$𝔼[\mathbb{P}(A\mid 𝒢)]=\sum _{i=1}^{\mathrm{\infty }}\mathbb{P}(A\mid C_i)𝔼[{\mathrm{𝟏}}_{C_i}]=\sum _{i=1}^{\mathrm{\infty }}\mathbb{P}(A\mid C_i)\mathbb{P}(C_i)=\mathbb{P}(A)$.

Основные свойства

• Если $\hat{X}=𝔼[X\mid Y]$, то существует борелевская функция $h:ℝ\to ℝ$, такая что

$\hat{X}=h(Y)$.

Условное математическое ожидание $X$ относительно события $\{Y=y\}$ по определению равно

$𝔼[X\mid Y=y]\equiv h(y)$.

• Если $X\ge 0$ п.н., то $𝔼[X\mid 𝒢]\ge 0$ п.н.
• Если $X$ независима от $𝒢$, то

$𝔼[X\mid 𝒢]=𝔼[X]$ п.н.

В частности, если $X,Y$ независимые случайные величины, то

$𝔼[X\mid Y]=𝔼[X]$ п.н.

• Если ${𝒢}_1,{𝒢}_2$ — две σ-алгебры, такие что ${𝒢}_1\subset {𝒢}_2\subset ℱ$, то

$𝔼[𝔼[X\mid {𝒢}_2]\mid {𝒢}_1]=𝔼[X\mid {𝒢}_1]$.

• Если $X$ — $𝒢$-измерима, и $Y$ — случайная величина, такая что $Y,XY\in L^1$, то

$𝔼[XY\mid 𝒢]=X𝔼[Y\mid 𝒢]$.

• «Математическое ожидание убирает условие». Это правило верно для УМО относительно случайной величины (УМО в таком случае будет случайной величиной) и для условной вероятности относительно случайной величины

$𝔼[𝔼(X\mid Y)]=𝔼(X)$.

Дополнительные свойства

• Теорема Леви о монотонной сходимости;
• Теорема Лебега о мажорируемой сходимости;
• Лемма Фату;
• Неравенство Йенсена.

УМО для дискретных величин

Пусть $Y$ — дискретная случайная величина, чьё распределение задаётся функцией вероятности $\mathbb{P}(Y=y_j)\equiv p_Y(y_j)=p_j>0,j=1,2,\dots$. Тогда система событий $\{Y=y_j\}$ является разбиением $\mathrm{\Omega }$, и

$𝔼[X\mid Y]=\sum _{j=1}^{\mathrm{\infty }}𝔼[X\mid Y=y_j]{\mathrm{𝟏}}_{\{Y=y_j\}}$,

а

$𝔼[X\mid Y=y_j]={𝔼}_j[X]$,

где ${𝔼}_j$ означает математическое ожидание, взятое относительно условной вероятности ${\mathbb{P}}_j(\cdot )=\mathbb{P}(\cdot \mid Y=y_j)$.

Если случайная величина $X$ также дискретна, то

$𝔼[X\mid Y=y_j]=\sum _{i=1}^{\mathrm{\infty }}{x}_i\mathbb{P}(X=x_i\mid Y=y_j)=\sum _{i=1}^{\mathrm{\infty }}{x}_i{p}_{X\mid Y}(x_i\mid y_j)$,

где $p_{X\mid Y}$ — условная функция вероятности случайной величины $X$ относительно $Y$.

УМО для абсолютно непрерывных случайных величин

Пусть $X,Y$ — случайные величины, такие что вектор $(X,Y{)}^{\mathrm{\top }}$ абсолютно непрерывен, и его распределение задаётся плотностью вероятности $f_{X,Y}(x,y)$. Введём условную плотность $f_{X\mid Y}$, положив по определению

$f_{X\mid Y}(x\mid y)=\frac{f_{X,Y}(x,y)}{f_Y(y)}$,

где $f_Y$ — плотность вероятности случайной величины $Y$. Тогда

$𝔼[X\mid Y]=h(Y)$,

где функция $h$ имеет вид

$h(y)=\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}x{f}_{X\mid Y}(x\mid y)dx$.

В частности,

$𝔼[X\mid Y=y_j]=\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}x{f}_{X\mid Y}(x\mid y_j)dx$.

УМО в L²

Рассмотрим пространство случайных величин с конечным вторым моментом $L^2$. В нём определены скалярное произведение

$⟨X,Y⟩\equiv 𝔼[XY],\mathrm{\forall }X,Y\in L^2$,

и порождённая им норма

$\Vert X\Vert =\sqrt{𝔼\left[X^2\right]},\mathrm{\forall }X\in L^2$.

Множество всех случайных величин $L_{𝒢}^2$ с конечным вторым моментом и измеримых относительно $𝒢$, где $𝒢\subset ℱ$, является подпространством $L^2$. Тогда оператор ${\mathrm{\Pi }}_{L_{𝒢}^2}:L^2\to L^2$, задаваемый равенством

${\mathrm{\Pi }}_{L_{𝒢}^2}(X)=𝔼[X\mid 𝒢]$,

является оператором ортогонального проектирования на $L_{𝒢}^2$. В частности:

• Условное математическое ожидание $𝔼[X\mid 𝒢]$ — это наилучшее средне-квадратичное приближение $X$ $𝒢$-измеримыми случайными величинами:

$\Vert X-𝔼[X\mid 𝒢]\Vert =\inf {\mathrm{\backslash limits}}_{Z\in L_{𝒢}^2}\Vert X-Z\Vert$.

• Условное математическое ожидание сохраняет скалярное произведение:

$⟨X,Z⟩=⟨𝔼[X\mid 𝒢],Z⟩,\mathrm{\forall }Z\in L_{𝒢}^2$.

• Условное математическое ожидание идемпотентно:

${\mathrm{\Pi }}_{L_{𝒢}^2}^2={\mathrm{\Pi }}_{L_{𝒢}^2}$.

См. также

• Условное распределение