Предельное правдоподобие

Функция предельного правдоподобия (Шаблон:Lang-en) или интегрированное правдоподобие (Шаблон:Lang-en) — это функция правдоподобия, в которой некоторые переменные параметры исключены. В контексте байесовской статистики, функция может называться обоснованностью (Шаблон:Lang-en) или обоснованностью модели (Шаблон:Lang-en).

Концепция

Если дано множество независимых одинаково распределённых точек данных $𝕏=(x_1,\dots ,x_n),$, где параметр $x_i\sim p(x_i|\theta )$ согласно некоторому распределению вероятностей с параметром $\theta$, где параметр $\theta$ сам по себе является случайной величиной, заданной распределением, то есть $\theta \sim p(\theta |\alpha )$. Функция предельного правдоподобия в общем случае спрашивает, какова вероятность события $p(𝕏|\alpha )$, где $\theta$ исключено (путём интегрирования по этому параметру):

$p(𝕏|\alpha )=\underset{\theta }{\int }p(𝕏|\theta )p(\theta |\alpha )\mathrm{d}\theta$

Определение выше сформулировано в контексте байесовской статистики. В классической (Шаблон:Не переведено 5) статистике концепция предельного правдоподобия появляется вместо этого в контексте совместного параметра $\theta =(\psi ,\lambda )$, где $\psi$ является фактическим параметром, а $\lambda$ является Шаблон:Не переведено 5. Если существует распределение вероятности для $\lambda$, часто желательно рассмотреть функцию правдоподобия лишь в терминах $\psi$ путём исключения $\lambda$:

$ℒ(\psi ;𝕏)=p(𝕏|\psi )=\underset{\lambda }{\int }p(𝕏|\lambda ,\psi )p(\lambda |\psi )\mathrm{d}\lambda$

К сожалению, предельные правдоподобия, как правило, трудно вычислить. Точные решения известны для малого класса распределений, в частности, когда исключаемый параметр является сопряжённым априорным распределением распределения данных. В других случаях нужен некий метод численного интегрирования, либо общий метод интегрирования, такой как метод Гаусса или метод Монте-Карло, или метод, разработанный специально для статистических задач, такой как аппроксимация Лапласа, семплирование по Гиббсу/Метрополису, или EM-алгоритм.

Можно также применить вышеприведённые соглашения к отдельной случайной величине (точке данных) x, а не к множеству наблюдений. В контексте байесовской теории это эквивалентно Шаблон:Не переведено 5 точки данных.

Приложения

Сравнение байесовских моделей

При сравнении байесовских моделей исключённые переменные являются параметрами для определённого типа модели, а оставшиеся переменные являются характеристиками модели. В этом случае предельное правдоподобие является вероятностью данных при заданном типе модели без предположения о значениях каких-либо конкретных параметров. Функция предельного правдоподобия для модели M равна

$p(x|M)=\int p(x|\theta ,M)p(\theta |M)\mathrm{d}\theta$

Именно в этом контексте обычно используется термин обоснованность модели. Эта величина важна, поскольку отношение апостериорных шансов для модели M₁ и другой модели M₂ вовлекает отношение функций предельного правдоподобия, так называемый коэффициент Байеса:

$\frac{p(M_1|x)}{p(M_2|x)}=\frac{p(M_1)}{p(M_2)}\frac{p(x|M_1)}{p(x|M_2)}$

что можно схематично сформулировать как

апостериорные шансы = априорные шансы × коэффициент Байеса

См. также

• Шаблон:Не переведено 5
• Частное распределение
• Парадокс Линдли

Литература

• Шаблон:Книга(Книга доступна как препринт на сайте: [1] Шаблон:Wayback)
• Шаблон:Книга