Коэффициент Байеса

Коэффицие́нт Ба́йеса — байесовская альтернатива проверке статистических гипотез Шаблон:Sfn Шаблон:Sfn. Байесовское сравнение моделей — метод выбора моделей на основе коэффициентов Байеса. Обсуждаемые модели являются статистическими моделями Шаблон:Sfn. Целью коэффициента Байеса является количественное выражение поддержки модели по сравнению с другой моделью, независимо от того, верны модели или нетШаблон:Sfn. Техническое определение понятия «поддержка» в контексте байесовского вывода дано ниже.

Определение

Коэффициент Байеса является отношением правдоподобия для предельного правдоподобия двух гипотез, обычно нулевой гипотезы и альтернативнойШаблон:Sfn.

Апостериорная вероятность $\Pr (M | D)$ модели Шаблон:Math, задаваемой данными Шаблон:Math, определяется теоремой Байеса:

\Pr (M | D) = \frac{\Pr (D | M) \Pr (M)}{\Pr (D)} .

Ключевой зависящий от данных член $\Pr (D | M)$ является правдоподобием модели Шаблон:Math с учётом данных Шаблон:Math и он представляет вероятность того, что некоторые данные получены в предположении принятия модели Шаблон:Math. Правильное вычисление этого члена является ключом байесовского сравнения моделей.

Если дана задача выбора модели, в которой мы должны выбрать между двумя моделями на основе наблюдаемых данных Шаблон:Math, относительная правдоподобность двух различных моделей Шаблон:Math и Шаблон:Math, параметризованных векторами параметров $θ_{1}$ и $θ_{2}$ , определяется коэффициентом Байеса Шаблон:Math, определяемым как

K = \frac{\Pr (D | M_{1})}{\Pr (D | M_{2})} = \frac{\int \Pr (θ_{1} | M_{1}) \Pr (D | θ_{1}, M_{1}) d θ_{1}}{\int \Pr (θ_{2} | M_{2}) \Pr (D | θ_{2}, M_{2}) d θ_{2}} = \frac{\Pr (M_{1} | D)}{\Pr (M_{2} | D)} \frac{\Pr (M_{2})}{\Pr (M_{1})} .

Если две модели априори одинаково вероятны, так что $\Pr (M_{1}) = \Pr (M_{2}),$ коэффициент Байеса равен отношению апостериорных вероятностей моделей Шаблон:Math и Шаблон:Math. Если вместо интеграла коэффициента Байеса используется правдоподобие, соответствующее максимальной оценке правдоподобия параметра для каждой статистической модели, то тест становится классическим тестом отношения правдоподобия. В отличие от теста отношения правдоподобия, байесовское сравнение моделей не зависит от какого-либо конкретного набора параметров, так как оно вычисляется в результате интегрирования по всем параметрам в каждой модели (с учётом априорных вероятностей). Однако преимущество использования коэффициентов Байеса заключается в том, что они автоматически и вполне естественным образом включают штраф за избыточное включение структуры моделиШаблон:Sfn. Это ограждает от переобучения. В случае моделей, у которых явный вид функции правдоподобия неизвестен или её вычисление слишком затратно, для байесовского выбора модели могут быть использованы Шаблон:Не переведено 5 Шаблон:Sfn, хотя следует принять во внимание, что приближённая байесовская оценка коэффициентов Байеса часто смещена Шаблон:Sfn.

Другие подходы:

трактовать модель сравнения как задачу принятия решений, вычисляя ожидаемое значение или цену каждого выбора модели;
использовать принцип сообщений минимальной длины (Шаблон:Lang-en, MML).

Интерпретация

Значение Шаблон:Math означает, что гипотеза Шаблон:Math сильнее поддерживается данными, чем гипотеза Шаблон:Math. Заметим, что классическая проверка статистических гипотез принимает по умолчанию одну гипотезу (или модель) («нулевая гипотеза»), и рассматривает только свидетельства против неё. Гарольд Джеффрис приводит таблицу для интерпретации полученного значения Шаблон:Math Шаблон:Sfn:

Шаблон:Math	dHart	битов	Весомость доказательств Шаблон:Чередующиеся строки таблицы

Второй столбец даёт соответствующие веса поддержки в единицах Шаблон:Не переведено 5 (известных также как Шаблон:Не переведено 5), биты добавлены в третьем столбце для ясности. Согласно И. Дж. Гуду, люди в повседневной жизни едва могут разумно оценить разницу в степени доверия гипотезе, соответствующую изменению веса на 1 децибан или 1/3 бита (например, отношение исходов 4:5 в 9 испытаниях с двумя возможными исходами)Шаблон:Sfn.

Альтернативную широко цитируемую таблицу предложили Касс и Рафтери (1995)Шаблон:Sfn:

Шаблон:Math	Шаблон:Math	Весомость доказательств Шаблон:Чередующиеся строки таблицы

Использование коэффициентов Байеса или классической проверки статистических гипотез происходит в контексте вывода, а не принятия решений в условиях неопределённости. То есть мы только хотим найти, какая гипотеза верна, а не принимаем действительное решение на основе этой информации. Частотная статистика делает строгое различие между этими двумя подходами, поскольку классические методы проверки гипотез не когерентны в байесовском смысле. Байесовские процедуры, включая коэффициенты Байеса, когерентны, так что нет необходимости делать это различие. Вывод тогда просто рассматривается как частный случай принятия решения в условиях неопределённости, в котором конечным действием является возврат значения. Для принятия решений статистики, использующие байесовский подход, могут использовать коэффициент Байеса вместе с априорным распределением и функцией потерь. В контексте вывода функция потерь примет вид Шаблон:Не переведено 5. Использование Шаблон:Не переведено 5, например, приводит к ожидаемой полезности, принимающей форму расхождение Кульбака — Лейблера.

Пример

Предположим, что у нас есть случайная величина, которая принимает значение либо успех, либо неудача. Мы хотим сравнить модель Шаблон:Math, где вероятность успеха равна Шаблон:Math, и другую модель Шаблон:Math, в которой значение Шаблон:Math неизвестно, и мы принимаем в качестве априорного распределения для Шаблон:Math однородное распределение на [0,1]. Мы делаем 200 испытаний и получаем 115 успехов и 85 неудач. Правдоподобие может быть вычислено согласно биномиальному распределению:

(\binom{200}{115}) q^{115} (1 - q)^{85} .

Тогда мы имеем для гипотезы Шаблон:Math

P (X = 115 ∣ M_{1}) = (\binom{200}{115}) {(\frac{1}{2})}^{200} = 0, 005956 . . .,

тогда как для Шаблон:Math

P (X = 115 ∣ M_{2}) = \int_{0}^{1} (\binom{200}{115}) q^{115} (1 - q)^{85} d q = (\binom{200}{115}) \times \int_{0}^{1} q^{115} (1 - q)^{85} d q = (\binom{200}{115}) \times

B (116, 86)

= (\binom{200}{115}) \times

\frac{Γ (116) \times Γ (86)}{Γ (116 + 86)}

= \frac{200!}{115! \times 85!} \times \frac{115! \times 85!}{201!} = \frac{1}{201} = 0, 004975 . . . .

Отношение этих величин составляет 1,197…, следовательно, различие «едва заслуживает внимания», хотя выбор склоняется слегка в сторону Шаблон:Math.

Проверка этих статистических гипотез на основе Шаблон:Не переведено 5 Шаблон:Math (рассматривается здесь как нулевая гипотеза) даст совершенно другой результат. Такая проверка утверждает, что гипотеза Шаблон:Math должна быть отброшена на уровне значимости 5 %, поскольку вероятность получения 115 или более успехов из выборки в 200 элементов при Шаблон:Math равна 0,0200, а Шаблон:Не переведено 5 получения экстремума в 115 или более даёт 0,0400. Заметим, что 115 отличается от 100 более чем на два стандартных отклонения. Таким образом, в то время как проверка статистической гипотезы на основе частотного вывода даёт статистическую значимость на уровне 5 %, коэффициент Байеса вряд ли примет это как экстремальный результат. Заметим, однако, что неоднородное априорное распределение (например, такое, которое отражает ожидание, что числа успешных и неуспешных исходов будут одного порядка величины) может привести к коэффициенту Байеса, который больше согласуется с проверкой на основе частотного вывода.

В классическом тесте отношения правдоподобия была бы найдена оценка максимального правдоподобия для Шаблон:Math, равная Шаблон:Nobr, откуда

P (X = 115 ∣ M_{2}) = (\binom{200}{115}) q^{115} (1 - q)^{85} = 0, 056991

(вместо усреднения по всем возможным Шаблон:Math). Это даёт отношение правдоподобия 0,1045 и указывает на гипотезу Шаблон:Math.

Шаблон:Math является более сложной моделью, чем Шаблон:Math, поскольку имеет свободный параметр, который позволяет описывать данные более согласованно. Способность коэффициентов Байеса учитывать это является причиной, почему байесовский вывод выдвигается как теоретическое обоснование и обобщение бритвы Оккама, в котором уменьшаются ошибки первого рода^[1].

С другой стороны, современный метод относительного правдоподобия принимает во внимание число свободных параметров моделей, в отличие от классического отношения правдоподобия. Метод относительного правдоподобия можно применить следующим образом. Модель Шаблон:Math имеет 0 параметров, а потому её значение информационного критерия Акаике (AIC) равно Шаблон:Nobr. Модель Шаблон:Math имеет 1 параметр, а потому её значение AIC равно Шаблон:Nobr. Следовательно, Шаблон:Math с меньшей вероятностью минимизирует потерю информации, чем Шаблон:Nobr, примерно в Шаблон:Nobr раза. Таким образом, Шаблон:Math слегка предпочтительнее, но Шаблон:Math отбрасывать нельзя.

Приложение

Коэффициент Байеса был применён для упорядочения динамической экспрессии генов вместо Шаблон:Math-значенияШаблон:Sfn.

См. также

Статистические показатели

Примечания

Шаблон:Примечания

Литература

Шаблон:Refbegin

Шаблон:Refend

Ссылка

BayesFactor —an R package for computing Bayes factors in common research designs
Bayes Factor Calculators —web-based version of much of the BayesFactor package

Шаблон:Rq

↑ Шаблон:Cite web

[1] Шаблон:Cite web

[1]

Коэффициент Байеса

Содержание

Определение

Интерпретация

Пример

Приложение

См. также

Примечания

Литература

Ссылка

Навигация

Коэффициент Байеса

Определение

Интерпретация

Пример

Приложение

См. также

Примечания

Литература

Ссылка

Навигация

Поиск