Байесовское иерархическое моделирование

Байесовское иерархическое моделирование — это статистическая модель, записанная в виде нескольких уровней (в иерархическом виде), которая оценивает Шаблон:Не переведено 5 апостериорного распределения используя байесовский методШаблон:Sfn. Подмодели комбинируются в иерархическую модель и используется теорема Байеса для объединения их с наблюдаемыми данными и учёта всех присутствующих неопределённостей. Результатом этого объединения является апостериорное распределение, известное также как уточнённая оценка вероятности после того, как получены дополнительные сведения об априорной вероятности.

Введение

Шаблон:Не переведено 5, наиболее популярное Шаблон:Не переведено 5, может дать заключение по внешнему виду несовместимое с заключением, которое даёт байесовская статистика, поскольку байесовский подход трактует параметры как случайные величины и использует субъективную информацию для установления допущений на эти параметрыШаблон:Sfn. Так как подходы отвечают на разные вопросы, формальные результаты технически не являются противоречивыми, но два подхода расходятся во мнении, какой ответ относится к конкретным приложениям. Приверженцы байесовского подхода утверждают, что относящаяся к принятию решения информация и обновление уверенностей нельзя игнорировать и что иерархическое моделирование имеет потенциал взять верх над классическими методами в приложениях, где респондент даёт несколько вариантов данных наблюдений. Более того доказано, что модель робастна с меньшей чувствительностью апостериорного распределения к изменчивым иерархическим априорным данным.

Иерархическое моделирование используется, когда информация доступна в нескольких различных уровнях наблюдаемых величин. Иерархический вид анализа и представления помогают в понимании многопараметрических задач и играют важную роль в разработке вычислительных стратегийШаблон:Sfn.

Философия

Многочисленные статистические приложения используют несколько параметров, которые можно считать как зависимые или связанные таким образом, что задача предполагает зависимость модели совместной вероятности этих параметровШаблон:Sfn.

Индивидуальные степени уверенности, выраженные в форме вероятностей, имеют свою неопределённостьШаблон:Sfn. Кроме того, возможны изменения степени уверенности со времени. Как утверждали профессор Жозе М. Бернардо и профессор Адриан Ф. Смит, «Актуальность процесса обучения состоит в эволюции индивидуальной и субъективной уверенности о реальности». Эти субъективные вероятности привлекаются в разум более непосредственно, чем физические вероятностиШаблон:Sfn. Следовательно, это требует обновления уверенности, и сторонники байесовского подхода сформулировали альтернативную статистическую модель, которая принимает во внимание априорные случаи конкретного событияШаблон:Sfn.

Теорема Байеса

Предполагаемое получение реального события обычно изменяет предпочтения между определёнными вариантами. Это делается путём изменения степени доверия к событиям, определяющим вариантыШаблон:Sfn.

Предположим, что при изучении эффективности сердечной терапии пациентов в госпитале j, имеющих вероятность выживания ${\theta }_j$, вероятность выживания обновляется при событии y, заключающемся в создании гипотетической сомнительной сыворотки, которая, как думают некоторые, увеличивает выживание больных с сердечными проблемами.

Чтобы сделать обновлённые утверждения о вероятности ${\theta }_j$, задающее возникновение события y, мы должны начать с модели, обеспечивающей совместное распределение вероятностей для ${\theta }_j$ и y. Это может быть записано как произведение двух распределений, которые часто упоминаются как априорная вероятность $P(\theta )$ и выборочное распределение $P(y\mid \theta )$ соответственно:

$P(\theta ,y)=P(\theta )P(y\mid \theta )$

Если использовать основное свойство условной вероятности, апостериорное распределение даст:

$P(\theta \mid y)=\frac{P(\theta ,y)}{P(y)}=\frac{P(y\mid \theta )P(\theta )}{P(y)}$

Равенство, показывающее связь между условной вероятностью и индивидуальными событиями, известно как теорема Байеса. Это простое выражение воплощает техническое ядро байесовского вывода, которое нацелено на включение обновлённого доверия $P(\theta \mid y)$ в уместном и разрешимом видеШаблон:Sfn.

Перестановочность

Обычной стартовой точкой статистического анализа является предположение, что n значений $y_n$ перестановочны. Если никакой информации, отличной от данных y, недоступно для различения любого ${\theta }_j$ от любого другого и никакого упорядочения или группировки параметров нельзя сделать, следует предполагать симметрию параметров относительно их априорной вероятностиШаблон:Sfn. Эта симметрия представлена вероятностной перестановочностью. Обычно полезно и приемлемо моделировать данные из перестановочного распределения как независимые и одинаково распределённые, если дан некоторый неизвестный вектор параметров $\theta$ с распределением $P(\theta )$.

Конечная перестановочность

Для фиксированного числа n набор $y_1,y_2,\dots ,y_n$ перестановочен, если совместное распределение $P(y_1,y_2,\dots ,y_n)$ инвариантно относительно перестановок индексов. То есть, для любой перестановки $\pi$ or $({\pi }_1,{\pi }_2,\dots ,{\pi }_n)$ индексов (1, 2, …, n), $P(y_1,y_2,\dots ,y_n)=P(y_{{\pi }_1},y_{{\pi }_2},\dots ,y_{{\pi }_n}).$Шаблон:Sfn

Ниже приведён пример перестановочной, но не независимой и одинаково распределённой последовательности: Рассмотрим урну с красными и синими шарами с вероятностями вытаскивания $\frac{1}{2}$ шаров. Шары вытаскиваются без возврата в урну, то есть, после вытаскивания одного из n шаров в урне остаётся n − 1 шаров для следующего вытаскивания.

Пусть $Y_i=\{\begin{array}{c}1,\\ 0,\end{array}$	если $i$-й шар красный
	иначе.

Поскольку вероятность вытаскивания красного шара при первом вытаскивании и синего шара при втором вытаскивании равна вероятности вытаскивания синего шара при первом вытаскивании и красного при втором, которые обе равны 1/2 (то есть $[P(y_1=1,y_2=0)=P(y_1=0,y_2=1)=\frac{1}{2}]$), то $y_1$ и $y_2$ перестановочны.

Однако вероятность выбора красного шара при втором вытаскивании уже не будет равна 1/2. Таким образом, $y_1$ и $y_2$ не независимы.

Если $x_1,\dots ,x_n$ независимы и одинаково распределены, то они перестановочны, но обратное не обязательно верноШаблон:Sfn.

Бесконечная перестановочность

Бесконечная перестановочность — это такое свойство, что любое конечное подмножество бесконечной последовательности $y_1$, $y_2,\dots$ перестановочно. То есть, для любого n последовательность $y_1,y_2,\dots ,y_n$ перестановочнаШаблон:Sfn.

Иерархические модели

Составляющие

Байесовское иерархическое моделирование использует две важные концепции для получения апостериорного распределенияШаблон:Sfn, а именно:

1. Шаблон:Не переведено 5: параметры априорного распределения
2. Шаблон:Не переведено 5: распределения гиперпараметров

Предположим, что случайная величина Y имеет нормальное распределение с параметром θ как среднее и параметром 1 в качестве дисперсии, то есть $Y\mid \theta \sim N(\theta ,1)$. Предположим, что параметр $\theta$ имеет распределение, задаваемое нормальным распределением со средним $\mu$ и дисперсией 1, то есть $\theta \mid \mu \sim N(\mu ,1)$. Кроме того, $\mu$ является другим распределением, заданным, например, стандартным нормальным распределением $\text{N}(0,1)$. Параметр $\mu$ называется гиперпараметром, в то время как его распределение, заданное как $\text{N}(0,1)$, является примером гиперприорного распределения. Обозначение для Y изменяется с добавлением другого параметра, то есть $Y\mid \theta ,\mu \sim N(\theta ,1)$. Если имеется другой уровень, скажем, $\mu$ является другим нормальным распределением со средним $\beta$ и дисперсией $ϵ$, что означает $\mu \sim N(\beta ,ϵ)$, то $$$\beta$ и $ϵ$ могут также быть названы гиперпараметрами, а их распределения являются гиперприорными распределениямиШаблон:Sfn.

Система

Пусть $y_j$ будут наблюдениями и ${\theta }_j$ будет параметром, который управляет процессом генерации $y_j$. Предположим далее, что параметры ${\theta }_1,{\theta }_2,\dots ,{\theta }_j$ порождаются перестановочными из основной популяции с распределением, управляемым гиперпараметром $\varphi$.

Байесовская иерархическая модель содержит следующие уровни:

Уровень I: $y_j\mid {\theta }_j,\varphi \sim P(y_j\mid {\theta }_j,\varphi )$

Уровень II: ${\theta }_j\mid \varphi \sim P({\theta }_j\mid \varphi )$

Уровень III: $\varphi \sim P(\varphi )$

Правдоподобие, как видно из уровня I, равно $P(y_j\mid {\theta }_j,\varphi )$, c $P({\theta }_j,\varphi )$ в качестве его априорного распределения. Заметим, что правдоподобие зависит только от $\varphi$ через ${\theta }_j$.

Априорное распределение из уровня I может быть разбито на:

$P({\theta }_j,\varphi )=P({\theta }_j\mid \varphi )P(\varphi )$ [из определения условной вероятности]

где $\varphi$ является гиперпараметром с гиперприорным распределением $P(\varphi )$.

Тогда апостериорное распределение пропорционально этой величине:

$P(\varphi ,{\theta }_j\mid y)\propto P(y_j\mid {\theta }_j,\varphi )P({\theta }_j,\varphi )$ [используя теорему Байеса]

$P(\varphi ,{\theta }_j\mid y)\propto P(y_j\mid {\theta }_j)P({\theta }_j\mid \varphi )P(\varphi )$Шаблон:Sfn

Пример

Для иллюстрации рассмотрим пример: Учитель хочет оценить, насколько хорошо студент выполнил свой SAT тест (Шаблон:Lang-en). Он использует информацию о студенте в старших классах и его текущем среднем балле оценок (Шаблон:Lang-en, GPA), чтобы получить оценку. Текущая GPA, обозначим её $Y$, имеет правдоподобие, задаваемое некоторой функцией вероятности с параметром $\theta$, то есть $Y\mid \theta \sim P(Y\mid \theta )$. Этот параметр $\theta$ является баллом SAT студента. Балл SAT рассматривается как элемент выборки, полученный из общей выборки, полученной из распределения общей популяции, индексированной другим параметром $\varphi$, которая является баллом студента в старших классах школыШаблон:Sfn. То есть, $\theta \mid \varphi \sim P(\theta \mid \varphi )$. Более того, гиперпараметр $\varphi$ имеет своё собственное распределение с функцией $P(\varphi )$, которое называется гиперприорным распределением.

Чтобы получить балл SAT по информации о GPA,

$P(\theta ,\varphi \mid Y)\propto P(Y\mid \theta ,\varphi )P(\theta ,\varphi )$

$P(\theta ,\varphi \mid Y)\propto P(Y\mid \theta )P(\theta \mid \varphi )P(\varphi )$

Вся информация в задаче будет использована для получения апостериорного распределения. Вместо решения с использованием только априорной вероятности и функции правдоподобия, использование гиперприорных распределений даёт больше информации, что приводит к большей уверенности в поведении параметраШаблон:Sfn.

Двухуровневая иерархическая модель

В общем случае интересующее нас совместное апостериорное распределение 2-уровневых иерархических моделей равно:

$P(\theta ,\varphi \mid Y)=\frac{P(Y\mid \theta ,\varphi )P(\theta ,\varphi )}{P(Y)}=\frac{P(Y\mid \theta )P(\theta \mid \varphi )P(\varphi )}{P(Y)}$

$P(\theta ,\varphi \mid Y)\propto P(Y\mid \theta )P(\theta \mid \varphi )P(\varphi )$Шаблон:Sfn

Трёхуровневая иерархическая модель

Для 3-уровневых иерархических моделей апостериорное распределение задаётся так:

$P(\theta ,\varphi ,X\mid Y)=\frac{P(Y\mid \theta )P(\theta \mid \varphi )P(\varphi \mid X)P(X)}{P(Y)}$

$P(\theta ,\varphi ,X\mid Y)\propto P(Y\mid \theta )P(\theta \mid \varphi )P(\varphi \mid X)P(X)$Шаблон:Sfn

Литература

• Шаблон:Статья
• Шаблон:Книга
• Шаблон:Статья
• Шаблон:Книга
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Книга Другие тома Шаблон:Wayback
• Шаблон:Книга Похожая книга Шаблон:Wayback
• Шаблон:Книга