Просмотр кода страницы Условная независимость

В [[Теория вероятностей|теории вероятностей]] два случайных события <math>A</math> и <math>B</math> называются '''условно независимыми''' относительно третьего события <math>C</math>, если они [[Независимость (теория вероятностей)|независимы]] при условии, что событие <math>C</math> произошло.

Другими словами, <math>A</math> и <math>B</math> условно независимы относительно <math>C</math> тогда и только тогда, когда <math>C</math> произошло, но знание того, произошло <math>B</math> или нет, не влияет на вероятность <math>A</math>, и, наоборот, знание того, произошло <math>A</math> или нет, не влияет на вероятность <math>B</math>.

Понятие условной независимости также может быть применено к случайным величинам и случайным векторам.

== Условная независимость событий ==

=== Определение ===
В обозначениях теории вероятностей, <math>A</math> и <math>B</math> условно независимы относительно <math>C</math> тогда и только тогда, когда <math>P(A \cap B \mid C) = P(A \mid C)P(B \mid C)</math>. Относительная независимость <math>A</math> и <math>B</math> относительно <math>C</math> обозначается <math>(A \perp\!\!\!\perp B) \mid C</math>.

Формально:

{{Equation box 1|background colour=#F5FFFA|border colour=#0073CF|cellpadding=6|equation=<math>(A \perp\!\!\!\perp B) \mid C \quad \iff \quad P(A \cap B \mid C) = P(A \mid C)P(B \mid C)</math><br><br>
или равносильно:<br><br>
<math>(A \perp\!\!\!\perp B) \mid C \quad \iff \quad P(A \mid B \cap C) = P(A \mid C) \quad \lor \quad P(B \mid C) = 1</math>|title='''Условная независимость событий'''}}

=== Примеры ===
В обсуждении на StackExchange приводится несколько полезных примеров. См. ниже.<ref>[https://math.stackexchange.com/q/23093 Could someone explain conditional independence?]</ref>

==== Цветные клетки ====
Каждая клетка на поле представляет собой возможный исход. События <math>\color{red}R</math>, <math>\color{blue}B</math> и <math>\color{gold}Y</math> представлены областями, закрашенными в {{Color|red|красный}}, {{Color|blue|синий}} и {{Color|gold|жёлтый}} цвета соответственно. Пересечение <math>\color{red}R</math> и <math>\color{blue}B</math> окрашено в {{Color|purple|фиолетовый}} и т. д.

[[Файл:Conditional independence.svg|450px|These are two examples illustrating '''conditional independence'''.]]

Вероятность каждого из этих событий — это отношение площади закрашенной области к общей площади поля.

В обоих примерах <math>\color{red}R</math> и <math>\color{blue}B</math> условно независимы по отношению к <math>{\color{gold}Y}</math>, поскольку

: <math>P({\color{red}R} \cap {\color{blue}B} \mid {\color{gold}Y}) =  P({\color{red}R} \mid {\color{gold}Y})P({\color{blue}B} \mid {\color{gold}Y})</math><ref>Чтобы разобраться в этом примере, нужно понять, что P(''R'' ∩ ''B'' | ''Y'') — вероятность пересечения фиолетовой и жёлтой области.

На первой картине видно, что это пересечение состоит из 2 клеток, а жёлтая область — из 12 клеток.

Тогда, P(''R'' ∩ ''B'' | ''Y'') = {{sfrac|2|12}} = {{sfrac|1|6}}.

Аналогично, P(''R'' | ''Y'') = {{sfrac|4|12}} = {{sfrac|1|3}}; P(''B'' | ''Y'') = {{sfrac|6|12}} = {{sfrac|1|2}}.</ref>,

но не являются условно независимыми по отношению к <math>\overline{\color{gold}Y}</math>, поскольку

: <math>P({\color{red}R} \cap {\color{blue}B} \mid  \overline{\color{gold}Y}) \not= P({\color{red}R} \mid  \overline{\color{gold}Y})P({\color{blue}B} \mid \overline{\color{gold}Y})</math>.

==== Погода и задержки ====
Представим себе двух человек. Пусть <math>A</math> и <math>B</math> — события, что каждый из них вовремя вернётся домой к ужину. Пусть <math>C</math> будет событием, при котором город настигла снежная буря. Из-за бури вероятности <math>A</math> и <math>B</math> довольно низкие, но всё равно эти события остаются независимыми друг от друга. Действительно, знание того, что один человек опоздает, вовсе не гарантирует то, что другой тоже опоздает. Люди могут жить в разных районах, ездить разными маршрутами, использовать разные виды транспорта. Если бы это было не так, то эти события были бы условно зависимы.

==== Игральный кубик ====
При одновременном броске двух кубиков можно считать, что результаты бросков не зависят друг от друга. Посмотрев на один из них, нельзя узнать, что выпало на втором. Однако, если на первом выпало 3 и кто-то сказал, что сумма на двух кубиках чётна, то эта дополнительная информация ограничивает количество исходов для второго кубика. (Тогда на втором точно выпало нечётное число). Другими словами, два события могут быть независимы сами по себе, но при каком-то условии будут условно зависимы.

== Условная независимость случайных величин ==
Две [[Случайная величина|случайные величины]] <math>X</math> и <math>Y</math> условно независимы относительно третьей случайной величины <math>Z</math>, тогда и только тогда, когда распределения их [[Условная вероятность|условных вероятностей]] относительно <math>Z</math> являются независимыми.

То есть это происходит, когда для каждого данного численного значения <math>Z</math> распределение вероятностей <math>X</math> не зависит от значений <math>Y</math> и распределение вероятностей <math>Y</math> не зависит от значений <math>X</math>.

Формально:

{{Equation box 1|background colour=#F5FFFA|border colour=#0073CF|cellpadding=6|equation=<math>(X \perp\!\!\!\perp Y) \mid Z \quad \iff \quad F_{X,Y\,\mid\,Z\,=\,z}(x,y) = F_{X\,\mid\,Z\,=\,z}(x) \cdot F_{Y\,\mid\,Z\,=\,z}(y) \quad \forall x,y,z,</math><br><br>
где <math>F_{X,Y\,\mid\,Z\,=\,z}(x,y)=P(X \leq x, Y \leq y \mid Z=z)</math> – это<br>условная функция распределения <math>X</math> и <math>Y</math> с заданным <math>Z</math>.|title='''Условная независимость случайных величин'''}}

Два события <math>R</math> и <math>B</math> условно независимы относительно [[Сигма-алгебра|сигма-алгебры]] <math>\Sigma</math>, если <math>P(R \cap B \mid \Sigma) \stackrel{\text{п.н.}}{=} P(R \mid \Sigma)P(B \mid \Sigma)</math>, где <math>P(A \mid \Sigma) </math> — условное [[математическое ожидание]] [[Индикаторная функция|индикаторной функции]] <math>\chi_A</math> события <math>A</math> относительно сигма-алгебры <math>\Sigma</math>. То есть <math>P(A \mid \Sigma) = \operatorname{E}[\chi_A\mid\Sigma]</math> по определению.

Две случайные величины <math>X</math> и <math>Y</math> условно независимы относительно сигма-алгебры <math>\Sigma</math>, если предыдущее равенство справедливо для всех <math>R</math> в <math>\sigma(X)</math> и <math>B</math> в <math>\sigma(Y)</math>.

Две случайные величины <math>X</math> и <math>Y</math> условно независимы относительно случайной величины <math>W</math>, если они независимы относительно сигма-алгебры <math>\sigma(W)</math>, порождённой случайной величиной <math>W</math>. Это обозначается как <math>X \perp\!\!\!\perp Y \mid W </math> или <math>X \perp Y \mid W</math>.

Если <math>W</math> имеет [[счётное множество]] значений, то это эквивалентно условной независимости <math>X</math> и <math>Y</math> для событий вида <math>[W=w]</math>. Условная независимость трёх и более событий или трёх и более случайных величин определяется аналогично.

Следующие два примера показывают, что независимость случайных величин никак не связана с их условной независимостью.

=== Первый пример ===
Возьмём <math>W = \begin{cases}0, && p=0.5\\ 1, && p=0.5\end{cases}</math> и рассмотрим два случая.

Если <math>W = 0</math>, возьмём независимые <math>X,Y = \begin{cases}0, && p=0.99\\ 1, && p=0.01\end{cases}</math>.

Если <math>W = 1</math>, возьмём независимые <math>X,Y = \begin{cases}0, && p=0.01\\ 1, && p=0.99\end{cases}</math>.

Здесь <math>(X \perp\!\!\!\perp Y) \mid W</math> и <math>P(X=0)=P(Y=0)=0.5</math>.

Рассмотрим случай, когда <math>Y=0</math>. Тогда легко убедиться, что:

<math>P(X=1\land Y=0) < 0.01</math>,

<math>P(X=1|Y=0) < 0.02</math>.

Таким образом, если <math>Y=0</math>, то распределение <math>X</math> меняется, и наоборот. Значит, <math>X</math> и <math>Y</math> зависимы.

=== Второй пример ===
Пусть <math>X \perp\!\!\!\perp Y</math>; <math>X,Y = \begin{cases}0, && p=0.5\\ 1, && p=0.5\end{cases}</math>;

<math>W = X \cdot Y</math>.

В данном примере <math>X</math> и <math>Y</math> мы взяли независимыми, но они будут условно зависимыми относительно <math>W</math>, потому что если <math>W=0</math>, то <math>P(X=0)=2/3</math>. Но <math>P(X=0|Y=0)=1/2</math>.

== Условная независимость случайных векторов ==
Два случайных вектора <math>\mathbf{X}=(X_1,\ldots,X_l)^{\mathrm T}</math> и <math>\mathbf{Y}=(Y_1,\ldots,Y_m)^{\mathrm T}</math> условно независимы относительно третьего случайного вектора <math>\mathbf{Z}=(Z_1,\ldots,Z_n)^{\mathrm T}</math> тогда и только тогда, когда их условные распределения независимы относительно <math>\mathbf{Z}</math>.

Формально:

{{Equation box 1|background colour=#F5FFFA|border colour=#0073CF|cellpadding=6|equation=<math>(\mathbf{X} \perp\!\!\!\perp \mathbf{Y}) \mid \mathbf{Z} \quad \iff \quad F_{\mathbf{X},\mathbf{Y}\mid\mathbf{Z}=\mathbf{z} }(\mathbf{x},\mathbf{y}) = F_{\mathbf{X}\,\mid\,\mathbf{Z}\,=\,\mathbf{z} }(\mathbf{x}) \cdot F_{\mathbf{Y}\,\mid\,\mathbf{Z}\,=\,\mathbf{z} }(\mathbf{y}) \quad \forall \mathbf{x},\mathbf{y},\mathbf{z},</math><br><br>
где <math>\mathbf{x}=(x_1,\ldots,x_l)^{\mathrm T}, \mathbf{y}=(y_1,\ldots,y_m)^{\mathrm T}, \mathbf{z}=(z_1,\ldots,z_n)^{\mathrm T}</math>, <br>
а условные распределения определены следующим образом:<br><br>
<math>\begin{align}
F_{\mathbf{X},\mathbf{Y}\,\mid\,\mathbf{Z}\,=\,\mathbf{z} }(\mathbf{x},\mathbf{y}) &= P(X_1 \leq x_1,\ldots,X_l \leq x_l, Y_1 \leq y_1,\ldots,Y_m \leq y_m \mid Z_1=z_1,\ldots,Z_n=z_n) \\[6pt]
F_{\mathbf{X}\,\mid\,\mathbf{Z}\,=\,\mathbf{z} }(\mathbf{x}) &= P(X_1 \leq x_1,\ldots,X_l \leq x_l \mid Z_1=z_1,\ldots,Z_n=z_n) \\[6pt]
F_{\mathbf{Y}\,\mid\,\mathbf{Z}\,=\,\mathbf{z} }(\mathbf{y}) &= P(Y_1 \leq y_1,\ldots,Y_m \leq y_m \mid Z_1=z_1,\ldots,Z_n=z_n)
\end{align}</math>|title='''Условная независимость случайных векторов'''}}

== Использование в Байесовских выводах ==
Пусть '''<math>p</math>''' — это доля голосующих, которые выступят «за» на предстоящем референдуме. Возьмём результаты случайного выборочного опроса среди '''<math>n</math>''' голосующих из популяции. Пусть '''<math>X_i</math>''' равно '''<math>1</math>''', если '''<math>i</math>''' голосует «за», или '''<math>0</math>''' в противном случае, для каждого голосующего '''<math>i = 1, ..., n</math>'''.

В [[Частотная вероятность|частотном подходе]] к [[Статистический вывод|статистическим выводам]] доле '''<math>p</math>''' не приписывается никакого [[Распределение вероятностей|распределения вероятности]] (кроме тех случаев, когда эти вероятности могут быть интерпретированы как относительные частоты возникновения некоторого события или как пропорции в некоторой популяции), и можно сказать, что '''<math>X_1, ..., X_n</math>''' — это независимые случайные величины.

С другой стороны, в [[Байесовский вывод|Байесовском подходе]] к статистическим выводам доля '''<math>p</math>''' понимается как случайная величина с некоторым распределением вероятностей. Для каждого отрезка устанавливается ''[[Байесовская статистика|степень доверия]]'' тому, что '''<math>p</math>''' попадёт в этот отрезок. Каждому отрезку ставится в соответствие вероятность попадания '''<math>p</math>''' в этот отрезок. В такой модели случайные величины '''<math>X_1, ..., X_n</math>''' являются зависимыми, но они являются '''условно независимыми''' относительно данного значения '''<math>p</math>'''. В частности, если большое количество '''<math>X_i</math>''' равно '''<math>1</math>''', согласно результату выборочного опроса, то это влечёт высокую условную вероятность того, что значение '''<math>p</math>''' близко к '''<math>1</math>'''. Следовательно, условная вероятность того, что ожидаемое значение следующего '''<math>X</math>''' будет равно '''<math>1</math>''', высока (для данного выборочного опроса).

== Следствия условной независимости ==
Из основного определения выведен ряд следствий, применимых для работы с условной независимостью.<ref>{{cite journal|first=A. P.|last=Dawid|authorlink=Philip Dawid|title=Conditional Independence in Statistical Theory|journal=[[Journal of the Royal Statistical Society, Series B]]|year=1979|volume=41|issue=1|pages=1–31|mr=0535541|jstor=2984718}}</ref><ref name="pearl:20005">J Pearl, Causality: Models, Reasoning, and Inference, 2000, Cambridge University Press</ref>

Поскольку эти следствия справедливы для любого [[Вероятностное пространство|вероятностного пространства]], то они остаются справедливыми при добавлении зависимости по отношению к некоторой другой переменной, скажем, ''<math>K</math>''. То есть <math>X \perp\!\!\!\perp Y \Rightarrow Y \perp\!\!\!\perp X</math> также означает <math>X \perp\!\!\!\perp Y \mid K  \Rightarrow Y \perp\!\!\!\perp X \mid K</math>.

Далее все литеры обозначают случайные величины. Запятая обозначает «И».

=== Симметрия ===
: <math>
X \perp\!\!\!\perp Y
\quad \Rightarrow \quad
Y \perp\!\!\!\perp X
</math>.

=== Декомпозиция ===
: <math>
X \perp\!\!\!\perp (Y,Z)
\quad \Rightarrow \quad
\begin{cases}
  X \perp\!\!\!\perp Y \\
  X \perp\!\!\!\perp Z
\end{cases}
</math>.

Доказательство:

* <math>
p_{X,Y,Z}(x,y,z) = p_X(x) \cdot p_{Y,Z}(y,z)
</math> (означает <math>X \perp\!\!\!\perp (Y,Z)</math>);
* <math>
\int_Z \! p_{X,Y,Z}(x,y,z)\,dz = \int_{Z} \! p_X(x) \cdot p_{Y,Z}(y,z)\,dz
</math> (переменная ''<math>Z</math>'' исчезла в результате интегрирования);
* <math>
p_{X,Y}(x,y) = p_X(x) \cdot p_Y(y)
</math>.

Аналогично доказывается независимость ''<math>X</math>'' и ''<math>Z</math>''.

=== Слабое объединение ===
: <math>
X \perp\!\!\!\perp (Y,Z)
\quad \Rightarrow \quad
\begin{cases}
  X \perp\!\!\!\perp Y \mid Z\\
  X \perp\!\!\!\perp Z \mid Y
\end{cases}
</math>.

Доказательство:

* По определению: <math>P(X) = P(X \mid Y, Z) </math>.
* Из композиции следует: <math>X \perp\!\!\!\perp Z</math>, <math>P(X) = P(X \mid Z)</math>.
* Объединение двух предыдущих равенств даёт: <math>P(X \mid Z) = P(X \mid Y, Z)</math>, из чего следует <math>X \perp\!\!\!\perp Y \mid Z</math>.

Второе соотношение можно доказать аналогично.

=== Сокращение ===
: <math>
\left.\begin{align}
  X \perp\!\!\!\perp Y \mid Z \\
  X \perp\!\!\!\perp Z
\end{align}\right\}
\quad \Rightarrow \quad
X \perp\!\!\!\perp (Y,Z)
</math>.

Доказательство:

Это свойство можно доказать, если заметить, что <math>P(X\mid Y,Z) = P (X\mid Z) = P(X)</math>, где каждое равенство совпадает с <math>X \perp\!\!\!\perp Y \mid Z</math> и <math>X \perp\!\!\!\perp Z</math> соответственно.

=== Комбинирование ===
Взяв последние три свойства, доказанные выше, получаем

: <math>
\left.\begin{align}
  X \perp\!\!\!\perp Y \mid Z \\
  X \perp\!\!\!\perp Z
\end{align}\right\}
\quad \iff \quad
X \perp\!\!\!\perp (Y,Z)
\quad \Rightarrow \quad
\begin{cases}
  X \perp\!\!\!\perp Y \mid Z \\
  X \perp\!\!\!\perp Z \\
  X \perp\!\!\!\perp Z \mid Y \\
  X \perp\!\!\!\perp Y \\
\end{cases}
</math> .

Эти следствия названы «Аксиомами Графоида»,<ref>{{Книга|автор=|заглавие=Graphoids: A Graph-Based Logic for Reasoning About Relevance Relations|ответственный=|год=|издание=|место=|издательство=|страницы=|страниц=|isbn=}}</ref> поскольку они выполняются в графах при <math>X \perp\!\!\!\perp Y\mid Z</math>, что можно интерпретировать как «Все пути от ''<math>X</math>'' до ''<math>Y</math>'' пересекают множество ''<math>Z</math>''».<ref name="pearl:88">{{cite book|last1=Pearl|first1=Judea|title=Probabilistic reasoning in intelligent systems: networks of plausible inference|url=https://archive.org/details/probabilisticrea00pear|url-access=registration|date=1988|publisher=Morgan Kaufmann}}</ref>

=== Условная независимость матожидания<ref>{{Книга|автор=П.А.Мейер|заглавие=Вероятность и потенциалы|год=1973|место=Глава II: Независимость. Условные математические ожидания.
Тема: Условная независимость
Теорема: 51|издательство=Мир|страницы=45—46}}</ref> ===
<math>X \perp\!\!\!\perp Y|Z \Longleftrightarrow E[X|Y,Z]=E[X|Z]</math>.<br>

== См. также ==
* [[Условное математическое ожидание]]

== Примечания ==
{{примечания}}

== Ссылки ==
* {{Commonscat-inline}}

[[Категория:Теория вероятностей]]