Байесовская линейная регрессия

Шаблон:Байесовская статистика Байесовская линейная регрессия — это подход в линейной регрессии, в котором статистический анализ проводится в контексте байесовского вывода: когда регрессионная модель имеет Шаблон:Не переведено 5, имеющие нормальное распределение, и, если принимается определённая форма априорного распределения, доступны явные результаты для апостериорных распределений вероятностей параметров модели.

Конфигурация модели

Рассмотрим стандартную задачу линейной регрессии, в которой для $i=1,...,n$ мы указываем среднее условное распределение величины $y_i$ для заданного вектора $k\times 1$ предсказаний ${𝐱}_i$:

$y_i={𝐱}_i^{\mathrm{T}}\mathit{\beta }+{ϵ}_i,$

где $\mathit{\beta }$ является $k\times 1$ вектором, а ${ϵ}_i$ являются независимыми и одинаково распределёнными нормально случайными величинами:

${ϵ}_i\sim N(0,{\sigma }^2).$

Это соответствует следующей функции правдоподобия:

$\rho (𝐲|𝐗,\mathit{\beta },{\sigma }^2)\propto ({\sigma }^2{)}^{-n/2}{e}^{-\frac{1}{2{\sigma }^2}(𝐲-𝐗\mathit{\beta }{)}^{\mathrm{T}}(𝐲-𝐗\mathit{\beta })}.$

Решение обычного метода наименьших квадратов является оценкой вектора коэффициентов с помощью псевдообратной матрицы Мура — Пенроуза:

$\hat{\mathit{\beta }}=({𝐗}^{\mathrm{T}}𝐗{)}^{-1}{𝐗}^{\mathrm{T}}𝐲$

где $𝐗$ является $n\times k$ Шаблон:Не переведено 5, каждая строка которой является вектором предсказаний ${𝐱}_i^{\mathrm{T}}$, а $𝐲$ является вектор-столбцом r $[y_1\cdots y_n{]}^{\mathrm{T}}$.

Это является Шаблон:Не переведено 5 подходом, и предполагается, что существует достаточно измерений для того, чтобы сказать что-то осмысленное о $\mathit{\beta }$. В байесовском подходе данные сопровождаются дополнительной информацией в виде априорного распределения вероятности. Априорные убеждения о параметрах комбинируются с функцией правдоподобия данных согласно теореме Байеса для получения апостериорной уверенности о параметрах $\mathit{\beta }$ и $\sigma$. Априорные данные могут принимать различные формы в зависимости от области применения и информации, которая доступна a priori.

Регрессия с сопряжёнными распределениями

Сопряжённое априорное распределение

Для любого априорного распределения, может не существовать аналитического решения для апостериорного распределения. В этом разделе мы рассмотрим так называемое сопряжённое априорное распределение, для которого апостериорное распределение можно вывести аналитически.

Априорное распределение $\rho (\mathit{\beta },{\sigma }^2)$ является сопряжённым функции правдоподобия, если оно имеет ту же функциональную форму с учётом $\mathit{\beta }$ и $\sigma$. Поскольку логарифмическое правдоподобие квадратично от $\mathit{\beta }$, его перепишем так, что правдоподобие становится нормальным от $(\mathit{\beta }-\hat{\mathit{\beta }})$. Запишем

$\begin{array}{cc}(𝐲-𝐗\mathit{\beta }{)}^{\mathrm{T}}(𝐲-𝐗\mathit{\beta })& =(𝐲-𝐗\hat{\mathit{\beta }}{)}^{\mathrm{T}}(𝐲-𝐗\hat{\mathit{\beta }})\\ & +(\mathit{\beta }-\hat{\mathit{\beta }}{)}^{\mathrm{T}}({𝐗}^{\mathrm{T}}𝐗)(\mathit{\beta }-\hat{\mathit{\beta }}).\end{array}$

Правдоподобие теперь переписывается как

$\begin{array}{cc}\rho (𝐲|𝐗,\mathit{\beta },{\sigma }^2)& \propto ({\sigma }^2{)}^{-v/2}{e}^{-\frac{v{s}^2}{2{\sigma }^2}}({\sigma }^2{)}^{-(n-v)/2}\\ & \times e^{-\frac{1}{2{\sigma }^2}(\mathit{\beta }-\hat{\mathit{\beta }}{)}^{\mathrm{T}}({𝐗}^{\mathrm{T}}𝐗)(\mathit{\beta }-\hat{\mathit{\beta }})},\end{array}$

где

$v{s}^2=(𝐲-𝐗\hat{\mathit{\beta }}{)}^{\mathrm{T}}(𝐲-𝐗\hat{\mathit{\beta }})$ и $v=n-k$,

где $k$ является числом коэффициентов регрессии.

Это указывает на вид априорного распределения:

$\rho (\mathit{\beta },{\sigma }^2)=\rho ({\sigma }^2)\rho (\mathit{\beta }|{\sigma }^2),$

где $\rho ({\sigma }^2)$ является Шаблон:Не переведено 5

$\rho ({\sigma }^2)\propto ({\sigma }^2{)}^{-\frac{v_0}{2}-1}{e}^{-\frac{v_0{s}_0^2}{2{\sigma }^2}}.$

В обозначениях, введённых в статье Шаблон:Не переведено 5, это плотность распределения $\text{Inv-Gamma}(a_0,b_0)$ с $a_0=\frac{v_0}{2}$ и $b_0=\frac{1}{2}{v}_0{s}_0^2$, где $v_0$ и $s_0^2$ являются априорными значениями $v$ и $s^2$ соответственно. Эквивалентно, эту плотность можно описать как Шаблон:Не переведено 5 $\text{Scale-inv-}{\chi }^2(v_0,s_0^2).$

Далее, условная априорная плотность $\rho (\mathit{\beta }|{\sigma }^2)$ является нормальным распределением,

$\rho (\mathit{\beta }|{\sigma }^2)\propto ({\sigma }^2{)}^{-\frac{k}{2}}{e}^{-\frac{1}{2{\sigma }^2}(\mathit{\beta }-{\mathit{\mu }}_0{)}^{\mathrm{T}}{\mathrm{\Lambda }}_0(\mathit{\beta }-{\mathit{\mu }}_0)}.$

В обозначениях нормального распределения условное априорное распределение равно $𝒩({\mathit{\mu }}_0,{\sigma }^2{\mathrm{\Lambda }}_0^{-1}).$

Апостериорное распределение

При указанном априорным распределении апостериорное распределение можно выразить как

$\rho (\mathit{\beta },{\sigma }^2|𝐲,𝐗)\propto \rho (𝐲|𝐗,\mathit{\beta },{\sigma }^2)\rho (\mathit{\beta }|{\sigma }^2)\rho ({\sigma }^2)$

$\propto ({\sigma }^2{)}^{-n/2}{e}^{-\frac{1}{2{\sigma }^2}(𝐲-𝐗\mathit{\beta }{)}^{\mathrm{T}}(𝐲-𝐗\mathit{\beta })}$

$\times ({\sigma }^2{)}^{-k/2}{e}^{-\frac{1}{2{\sigma }^2}(\mathit{\beta }-{\mathit{\mu }}_0{)}^{\mathrm{T}}{\mathrm{\Lambda }}_0(\mathit{\beta }-{\mathit{\mu }}_0)}$

$\times ({\sigma }^2{)}^{-(a_0+1)}{e}^{-\frac{b_0}{{\sigma }^2}}.$

После некоторых преобразований апостериорная вероятность может быть переписана так, что апостериорное среднее ${\mathit{\mu }}_n$ вектора параметров $\mathit{\beta }$ может быть выражено в терминах оценки по методу наименьших квадратов $\hat{\mathit{\beta }}$ и априорного среднего ${\mathit{\mu }}_0$, где поддержка априорной вероятности выражается матрицей априорной точности ${\mathrm{\Lambda }}_0$

${\mathit{\mu }}_n=({𝐗}^{\mathrm{T}}𝐗+{\mathrm{\Lambda }}_0{)}^{-1}({𝐗}^{\mathrm{T}}𝐗\hat{\mathit{\beta }}+{\mathrm{\Lambda }}_0{\mathit{\mu }}_0).$

Для подтверждения, что ${\mathit{\mu }}_n$ в действительности является апостериорным средним, квадратичные члены в экспоненте можно преобразовать к Шаблон:Не переведено 5 от $\mathit{\beta }-{\mathit{\mu }}_n$.

$(𝐲-𝐗\mathit{\beta }{)}^{\mathrm{T}}(𝐲-𝐗\mathit{\beta })+(\mathit{\beta }-{\mathit{\mu }}_0{)}^{\mathrm{T}}{\mathrm{\Lambda }}_0(\mathit{\beta }-{\mathit{\mu }}_0)=$

$(\mathit{\beta }-{\mathit{\mu }}_n{)}^{\mathrm{T}}({𝐗}^{\mathrm{T}}𝐗+{\mathrm{\Lambda }}_0)(\mathit{\beta }-{\mathit{\mu }}_n)+{𝐲}^{\mathrm{T}}𝐲-{\mathit{\mu }}_n^{\mathrm{T}}({𝐗}^{\mathrm{T}}𝐗+{\mathrm{\Lambda }}_0){\mathit{\mu }}_n+{\mathit{\mu }}_0^{\mathrm{T}}{\mathrm{\Lambda }}_0{\mathit{\mu }}_0.$

Теперь апостериорное распределение можно выразить как нормальное распределение, умноженное на Шаблон:Не переведено 5:

$\rho (\mathit{\beta },{\sigma }^2|𝐲,𝐗)\propto ({\sigma }^2{)}^{-\frac{k}{2}}{e}^{-\frac{1}{2{\sigma }^2}(\mathit{\beta }-{\mathit{\mu }}_n{)}^{\mathrm{T}}({𝐗}^{\mathrm{T}}𝐗+{\mathrm{\Lambda }}_0)(\mathit{\beta }-{\mathit{\mu }}_n)}$

$\times ({\sigma }^2{)}^{-\frac{n+2a_0}{2}-1}{e}^{-\frac{2b_0+{𝐲}^{\mathrm{T}}𝐲-{\mathit{\mu }}_n^{\mathrm{T}}({𝐗}^{\mathrm{T}}𝐗+{\mathrm{\Lambda }}_0){\mathit{\mu }}_n+{\mathit{\mu }}_0^{\mathrm{T}}{\mathrm{\Lambda }}_0{\mathit{\mu }}_0}{2{\sigma }^2}}.$

Поэтому апостериорное распределение можно параметризовать следующим образом.

$\rho (\mathit{\beta },{\sigma }^2|𝐲,𝐗)\propto \rho (\mathit{\beta }|{\sigma }^2,𝐲,𝐗)\rho ({\sigma }^2|𝐲,𝐗),$

где два множителя соответствуют плотностям распределений $𝒩({\mathit{\mu }}_n,{\sigma }^2{\mathrm{\Lambda }}_n^{-1})$ и $\text{Inv-Gamma}(a_n,b_n)$ с параметрами, задаваемыми выражениями

${\mathrm{\Lambda }}_n=({𝐗}^{\mathrm{T}}𝐗+{\mathrm{\Lambda }}_0),{\mathit{\mu }}_n=({\mathrm{\Lambda }}_n{)}^{-1}({𝐗}^{\mathrm{T}}𝐗\hat{\mathit{\beta }}+{\mathrm{\Lambda }}_0{\mathit{\mu }}_0),$

$a_n=a_0+\frac{n}{2},b_n=b_0+\frac{1}{2}({𝐲}^{\mathrm{T}}𝐲+{\mathit{\mu }}_0^{\mathrm{T}}{\mathrm{\Lambda }}_0{\mathit{\mu }}_0-{\mathit{\mu }}_n^{\mathrm{T}}{\mathrm{\Lambda }}_n{\mathit{\mu }}_n).$

Это можно интерпретировать как байесовское обучение, в котором параметры обновляются согласно следующим равенствам

${\mathit{\mu }}_n=({𝐗}^{\mathrm{T}}𝐗+{\mathrm{\Lambda }}_0{)}^{-1}({\mathrm{\Lambda }}_0{\mathit{\mu }}_0+{𝐗}^{\mathrm{T}}𝐗\hat{\mathit{\beta }})=({𝐗}^{\mathrm{T}}𝐗+{\mathrm{\Lambda }}_0{)}^{-1}({\mathrm{\Lambda }}_0{\mathit{\mu }}_0+{𝐗}^{\mathrm{T}}𝐲),$

${\mathrm{\Lambda }}_n=({𝐗}^{\mathrm{T}}𝐗+{\mathrm{\Lambda }}_0),$

$a_n=a_0+\frac{n}{2},$

$b_n=b_0+\frac{1}{2}({𝐲}^{\mathrm{T}}𝐲+{\mathit{\mu }}_0^{\mathrm{T}}{\mathrm{\Lambda }}_0{\mathit{\mu }}_0-{\mathit{\mu }}_n^{\mathrm{T}}{\mathrm{\Lambda }}_n{\mathit{\mu }}_n).$

Обоснованность модели

Обоснованность модели $p(𝐲|m)$ — это вероятность данных для данной модели $m$. Она известна также как предельное правдоподобие и как априорная предсказательная плотность. Здесь модель определяется функцией правдоподобия $p(𝐲|𝐗,\mathit{\beta },\sigma )$ и априорным распределением параметров, то есть, $p(\mathit{\beta },\sigma )$. Обоснованность модели фиксируется одним числом, показывающим, насколько хорошо такая модель объясняет наблюдения. Обоснованность модели байесовской линейной регрессии, представленная в этом разделе, может быть использована для сравнения конкурирующих линейных моделей путём байесовского сравнения моделей. Эти модели могут отличаться числом и значениями предсказывающих переменных, как и их априорными значениями в параметрах модели. Сложность модели принимается во внимание обоснованностью модели, поскольку она исключает параметры путём интегрирования $p(𝐲,\mathit{\beta },\sigma |𝐗)$ по всем возможным значениям $\mathit{\beta }$ и $\sigma$.

$p(𝐲|m)=\int p(𝐲|𝐗,\mathit{\beta },\sigma )p(\mathit{\beta },\sigma )d\mathit{\beta }d\sigma$

Этот интеграл можно вычислить аналитически и решение задаётся следующим равенством

$p(𝐲|m)=\frac{1}{(2\pi {)}^{n/2}}\sqrt{\frac{\det ({\mathrm{\Lambda }}_0)}{\det ({\mathrm{\Lambda }}_n)}}\cdot \frac{b_0^{a_0}}{b_n^{a_n}}\cdot \frac{\mathrm{\Gamma }(a_n)}{\mathrm{\Gamma }(a_0)}$

Здесь $\mathrm{\Gamma }$ означает гамма-функцию. Поскольку мы выбрали сопряжённое априорное распределение, предельное правдоподобие может быть легко вычислено путём решения следующего равенства для произвольных значений $\mathit{\beta }$ и $\sigma$.

$p(𝐲|m)=\frac{p(\mathit{\beta },\sigma |m)p(𝐲|𝐗,\mathit{\beta },\sigma ,m)}{p(\mathit{\beta },\sigma |𝐲,𝐗,m)}$

Заметим, что это равенство является ни чем иным, как переформулировкой теоремы Байеса. Подстановка формулы для априорной вероятности, правдоподобия и апостериорной вероятности и упрощения получающегося выражения приводит к аналитическому выражению, приведённому выше.

Другие случаи

В общем случае может оказаться невозможным или нецелесообразным получать апостериорное распределение аналитически. Однако можно аппроксимировать апостериорную вероятность методом Шаблон:Не переведено 5, таким как выборка по методу Монте-Карло или Шаблон:Не переведено 5.

Частный случай ${\mathit{\mu }}_0=0,{\mathrm{\Lambda }}_0=c𝐄$ называется гребневой регрессией.

Аналогичный анализ можно провести для общего случая множественной регрессии и частично для байесовской Шаблон:Не переведено 5 — см. Шаблон:Не переведено 5.

См. также

• Шаблон:Не переведено 5
• Шаблон:Не переведено 5
• Метод регуляризации Тихонова
• Шаблон:Не переведено 5
• Шаблон:Не переведено 5

Литература

• Шаблон:Книга
• Шаблон:Книга
• Шаблон:Книга
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Книга
• Шаблон:Книга
• Minka, Thomas P. (2001) Bayesian Linear Regression Шаблон:Wayback, Microsoft research web page
• Шаблон:Книга
• Шаблон:Книга
• Шаблон:Книга
• Шаблон:Статья

Программное обеспечение

• Python
  • Bayesian Type-II Linear Regression code, tutorial Шаблон:Wayback
  • ARD Linear Regression code Шаблон:Wayback
  • ARD Linear Regression with kernelized features code Шаблон:Wayback, tutorial Шаблон:Wayback