Парадокс Линдли

Парадокс Линдли — это контринтуитивная ситуация в статистике, при которой байесовский и Шаблон:Не переведено 5 подходы к задаче проверки гипотез дают различные результаты при определённых выборах априорного распределения. Проблема разногласия между двумя подходами обсуждалась в книге Гарольда Джеффриса 1939 годаШаблон:Sfn. Проблема стала известна как парадокс Линдли после того, как Деннис Линдли высказал несогласие с парадоксом в статье 1957Шаблон:Sfn.

Хотя ситуация описывается как парадокс, различие байесовского и частотного подходов можно объяснить как использования их для ответа на фундаментально различные вопросы, а не действительного разногласия между двумя методами.

Как бы то ни было, для большого класса априорные разности между частотным и байесовским подходами вызваны сохранением уровня значимости. Как Линдли понял: «теория не может обосновать практику сохранения уровня значимости» и даже «некоторые вычисления, сделанные профессором Пирсоном в обсуждении этой статьи подчёркивают, насколько уровень значимости может меняться с изменением размера выборки, если потери и априорные вероятности остаются неизменными»Шаблон:Sfn. Фактически, если критичное значение растёт с ростом размера выборки достаточно быстро, рассогласование между частотным и байесовским подходами становится ничтожнымШаблон:SfnШаблон:Sfn.

Описание парадокса

Рассмотрим результат $x$ некоторого эксперимента с двумя возможными объяснениями, гипотезами $H_0$ и $H_1$, и некоторым априорным распределением $\pi$, представляющим неопределённость, какая гипотеза более точна перед рассмотрением $x$.

Парадокс Линдли обнаруживается в случае:

1. Результат $x$ оказывается «значимым» для частотного теста гипотезы $H_0$, показывающим значимое свидетельство к отбрасыванию гипотезы $H_0$, скажем, на уровне 5 %.
2. Апостериорная вероятность гипотезы $H_0$, задаваемая результатом $x$ высока, что убедительно свидетельствует о том, что гипотеза $H_0$ больше согласуется с $x$, чем гипотеза $H_1$.

Эти результаты могут случиться в одно и то же время, если $H_0$ очень специфично, $H_1$ более размыто, а априорное распределение не даёт предпочтения ни одному из них, как показано ниже.

Численный пример

Мы можем проиллюстрировать парадокс Линдли численным примером. Представим себе город, в котором родились 49581 мальчиков и 48870 девочек за определённый период времени. Наблюдаемая доля $x$ мальчиков составляет 49581/98451 ≈ 0,5036. Мы предполагаем, что число рождений мальчиков является биномиальной переменной с параметром $\theta$. Мы хотим проверить, равно ли $\theta$ 0,5 или другому значению. То есть наша нулевая гипотеза гласит: $H_0:\theta =0,5$, а альтернативной гипотезой будет $H_1:\theta \ne 0,5$.

Частотный подход

Частотный подход проверки $H_0$ заключается в вычислении p-значения, вероятности наблюдения доли мальчиков не менее $x$ в предположении, что гипотеза $H_0$ верна. Поскольку число рождений большое, мы можем использовать нормальную аппроксимацию для доли рождения мальчиков $X\sim N(\mu ,{\sigma }^2)$, с $\mu =np=n\theta =98451\times 0,5=49225,5$ и ${\sigma }^2=n\theta (1-\theta )=98451\times 0,5\times 0,5=24612,75$ для вычисления

$\begin{array}{c}P(X\ge x\mid \mu =49225,5)=\underset{x=49581}{\overset{98451}{\int }}\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-(\frac{u-\mu }{\sigma }{)}^2/2}du\\ =\underset{x=49581}{\overset{98451}{\int }}\frac{1}{\sqrt{2\pi (24612,75)}}{e}^{-\frac{(u-49225,5{)}^2}{24612,75}/2}du\approx 0,0117.\end{array}$

Мы также будем удивлены, если рассмотрим рождение 48870 девочек, то есть $x\approx 0,4964$, так что частотный тест обычно осуществаляет двухстороннюю проверку, для которой p-значение было бы $p\approx 2\times 0,0117=0,0235$. В обоих случаях p-значение меньше уровня значимости $\alpha$ в 5%, так что частотный подход отвергает гипотезу $H_0$ как несогласующуюся с наблюдаемыми данными.

Байесовский подход

Предполагая, что нет причин для предпочтения одной гипотезы другой, байесовский подход заключается в назначении априорных вероятностей $\pi (H_0)=\pi (H_1)=0,5$, однородного распределения для $\theta$ для гипотезы $H_1$ и, затем, вычисления апостериорной вероятности для $H_0$ с помощью теоремы Байеса,

$P(H_0\mid k)=\frac{P(k\mid H_0)\pi (H_0)}{P(k\mid H_0)\pi (H_0)+P(k\mid H_1)\pi (H_1)}.$

После наблюдения рождения $k=49581$ мальчиков из $n=98451$ новорождённых мы можем вычислить апостериорную вероятность каждой гипотезы с помощью функции распределения масс для биномиальной переменной,

$\begin{array}{cc}P(k\mid H_0)& =(\genfrac{}{}{0ex}{}{n}{k})(0,5{)}^k(1-0,5{)}^{n-k}\approx 1,95\times 10^{-4}\\ P(k\mid H_1)& =\underset{0}{\overset{1}{\int }}(\genfrac{}{}{0ex}{}{n}{k}){\theta }^k(1-\theta {)}^{n-k}d\theta =(\genfrac{}{}{0ex}{}{n}{k})\mathrm{B}(k+1,n-k+1)=1/(n+1)\approx 1,02\times 10^{-5}\end{array}$

где $\mathrm{B}(a,b)$ является бета-функцией.

Из этих значений мы находим апостериорную вероятность $P(H_0\mid k)\approx 0,95$, которая строго предпочитает $H_0$ перед $H_1$.

Два подхода, частотный и байесовский, оказываются в конфликте, а это и есть «парадокс».

Примирение байесовского и частотного подходов

Однако, по меньшей мере, в примере Линдли, если мы возьмём последовательность уровней значимости ${\alpha }_n$, таких, что ${\alpha }_n=n^{-k}$ с $k>\frac{1}{2}$, то апостериорная вероятность нулевой гипотезы стремится к 0, что согласуется с отказом от нулевой гипотезыШаблон:Sfn. В нашем числовом примере, если принять $k>\frac{1}{2}$, в результате получим уровень значимости 0,00318, так что частотный подход не будет отбрасывать нулевую гипотезу, которая в общих чертах согласуется с байесовским подходом.

Распределение p при нулевой гипотезе и апостериорное распределение p.

Если используется информативное априорное распределение и проверка гипотезы, более похожей на гипотезу в частотном подходе, парадокс исчезает.

Например, если мы вычисляем апостериорное распределение $P(\theta \mid x,n)$, используя однородное априорное распределение с $\theta$ (то есть $\pi (\theta \in [0,1])=1$), мы получим

$P(\theta \mid k,n)=\mathrm{B}(k+1,n-k+1).$

Если мы используем это для проверки вероятности, что новорождённый более вероятно будет мальчиком, чем девочкой, то есть $P(\theta >0,5\mid k,n)$, мы получим:

$\underset{0,5}{\overset{1}{\int }}\mathrm{B}(49582,48871)\approx 0,983.$

Другими словами, очень похоже, что пропорция рождения мальчиков выше 0,5.

Ни один из анализов не даёт оценку Шаблон:Не переведено 5 прямо, но оба могут быть использованы для определения, например, является ли доля рождений мальчиков выше некоторого определённого порога.

Отсутствие действительного парадокса

Явное расхождение между двумя подходами вызвано комбинацией факторов. Во-первых, частотный подход проверяет $H_0$ выше без учёта $H_1$. Байесовский подход вычисляет $H_0$ как альтернативу к $H_1$ и находит, что первая гипотеза больше согласуется с наблюдениями. Это потому, что последняя гипотеза существенно более размыта, так как значение $\theta$ может быть любым в интервале $[0,1]$, что приводит к очень низкой апостериорной вероятности. Чтобы понять, почему, полезно рассмотреть две гипотезы как генераторы наблюдений:

• В гипотезе $H_0$ мы выбираем $\theta \approx 0,500$ и задаём вопрос, насколько правдоподобно видеть 49581 мальчика при 98451 новорождённом.
• В гипотезе $H_1$ мы выбираем $\theta$ случайно между 0 и 1 и задаём тот же вопрос.

Большинство возможных значений для $\theta$ при гипотезе $H_1$ очень плохо поддерживаются наблюдениями. По существу, явное несогласие между методами вообще не является несогласием, а являются двумя различными утверждениями относительно данных:

• Частотный подход находит, что $H_0$ плохо объясняется наблюдениями.
• Байесовский подход находит, что гипотеза $H_0$ существенно лучше объясняется наблюдениями, чем гипотеза $H_1$.

Отношение пола новорождённых в 50/50 (мальчиков/девочек) согласно частотному тесту неправдоподобно. Всё же отношение 50/50 является лучшим приближением, чем большинство, но не все другие отношения. Гипотеза $\theta \approx 0,504$ подходила бы наблюдениям много лучше, чем все другие отношения, включая $\theta \approx 0,500$.

Например, из этого выбора гипотезы и априорной вероятности следует утверждение: «Если $\theta$ > 0,49 и $\theta$ < 0,51, то априорная вероятность $\theta$ быть ровно 0,5 равна 0,50/0,51 $\approx$ 98 %». Если дано такое сильное предпочтение для $\theta =0,5$, легко видеть, что байесовский подход высказывается в пользу $H_0$, учитывая, что $x\approx 0,5036$, даже когда наблюдаемое значение $x$ лежит в $2,28\sigma$ от 0,5. Отклонение более $2\sigma$ от $H_0$ считается значимым в частотном подходе, но значимость отклоняется априорной вероятностью в байесовском подходе.

Если смотреть в другую сторону, мы можем видеть, что априорное распределение существенно плоским с дельта-функцией в точке $\theta =0,5$. Ясно, что является сомнительным. Фактически, если вы попробуете нарисовать вещественные числа как непрерывные, будет логично предположить, что невозможно для заданного параметра $P(\theta =0,5)=0$.

Более реалистичное распределение для $\theta$ на альтернативной гипотезе даёт менее удивительные результаты для апостериорной вероятности гипотезы $H_0$. Например, если мы заменим $H_1$ на $H_2:\theta =x$, то есть оценку максимального правдоподобия для $\theta$, апостериорная вероятность гипотезы $H_0$ будет только 0,07 по сравнению с 0,93 для гипотезы $H_2$ (конечно, нельзя использовать в действительности оценку максимального правдоподобия как часть априорного распределения).

Современное обсуждение

Парадокс продолжает активно обсуждатьсяШаблон:SfnШаблон:SfnШаблон:Sfn.

См. также

• Коэффициент Байеса

Литература

• Шаблон:Статья
• Шаблон:Книга
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Статья