Байесовская линейная регрессия

Шаблон:Байесовская статистика Байесовская линейная регрессия — это подход в линейной регрессии, в котором статистический анализ проводится в контексте байесовского вывода: когда регрессионная модель имеет Шаблон:Не переведено 5, имеющие нормальное распределение, и, если принимается определённая форма априорного распределения, доступны явные результаты для апостериорных распределений вероятностей параметров модели.

Конфигурация модели

Рассмотрим стандартную задачу линейной регрессии, в которой для $i=1,\mathrm{...},n$ мы указываем среднее условное распределение величины $y_i$ для заданного вектора $k\times 1$ предсказаний ${𝐱}_i$:

$y_i={𝐱}_i^{\mathrm{T}}𝜷+{ϵ}_i,$

где $𝜷$ является $k\times 1$ вектором, а ${ϵ}_i$ являются независимыми и одинаково распределёнными нормально случайными величинами:

${ϵ}_i\sim N(0,{\sigma }^2).$

Это соответствует следующей функции правдоподобия:

$\rho (𝐲|𝐗,𝜷,{\sigma }^2)\propto ({\sigma }^2{)}^{-n/2}{e}^{-\frac{1}{2{\sigma }^2}(𝐲-𝐗𝜷{)}^{\mathrm{T}}(𝐲-𝐗𝜷)}.$

Решение обычного метода наименьших квадратов является оценкой вектора коэффициентов с помощью псевдообратной матрицы Мура — Пенроуза:

$\widehat{𝜷}=({𝐗}^{\mathrm{T}}𝐗{)}^{-1}{𝐗}^{\mathrm{T}}𝐲$

где $𝐗$ является $n\times k$ Шаблон:Не переведено 5, каждая строка которой является вектором предсказаний ${𝐱}_i^{\mathrm{T}}$, а $𝐲$ является вектор-столбцом r $[y_1\cdots y_n{]}^{\mathrm{T}}$.

Это является Шаблон:Не переведено 5 подходом, и предполагается, что существует достаточно измерений для того, чтобы сказать что-то осмысленное о $𝜷$. В байесовском подходе данные сопровождаются дополнительной информацией в виде априорного распределения вероятности. Априорные убеждения о параметрах комбинируются с функцией правдоподобия данных согласно теореме Байеса для получения апостериорной уверенности о параметрах $𝜷$ и $\sigma$. Априорные данные могут принимать различные формы в зависимости от области применения и информации, которая доступна a priori.

Регрессия с сопряжёнными распределениями

Сопряжённое априорное распределение

Для любого априорного распределения, может не существовать аналитического решения для апостериорного распределения. В этом разделе мы рассмотрим так называемое сопряжённое априорное распределение, для которого апостериорное распределение можно вывести аналитически.

Априорное распределение $\rho (𝜷,{\sigma }^2)$ является сопряжённым функции правдоподобия, если оно имеет ту же функциональную форму с учётом $𝜷$ и $\sigma$. Поскольку логарифмическое правдоподобие квадратично от $𝜷$, его перепишем так, что правдоподобие становится нормальным от $(𝜷-\widehat{𝜷})$. Запишем

$\begin{array}{cc}(𝐲-𝐗𝜷{)}^{\mathrm{T}}(𝐲-𝐗𝜷)& =(𝐲-𝐗\widehat{𝜷}{)}^{\mathrm{T}}(𝐲-𝐗\widehat{𝜷})\\ & +(𝜷-\widehat{𝜷}{)}^{\mathrm{T}}({𝐗}^{\mathrm{T}}𝐗)(𝜷-\widehat{𝜷}).\end{array}$

Правдоподобие теперь переписывается как

$\begin{array}{cc}\rho (𝐲|𝐗,𝜷,{\sigma }^2)& \propto ({\sigma }^2{)}^{-v/2}{e}^{-\frac{v{s}^2}{2{\sigma }^2}}({\sigma }^2{)}^{-(n-v)/2}\\ & \times e^{-\frac{1}{2{\sigma }^2}(𝜷-\widehat{𝜷}{)}^{\mathrm{T}}({𝐗}^{\mathrm{T}}𝐗)(𝜷-\widehat{𝜷})},\end{array}$

где

$v{s}^2=(𝐲-𝐗\widehat{𝜷}{)}^{\mathrm{T}}(𝐲-𝐗\widehat{𝜷})$ и $v=n-k$,

где $k$ является числом коэффициентов регрессии.

Это указывает на вид априорного распределения:

$\rho (𝜷,{\sigma }^2)=\rho ({\sigma }^2)\rho (𝜷|{\sigma }^2),$

где $\rho ({\sigma }^2)$ является Шаблон:Не переведено 5

$\rho ({\sigma }^2)\propto ({\sigma }^2{)}^{-\frac{v_0}{2}-1}{e}^{-\frac{v_0{s}_0^2}{2{\sigma }^2}}.$

В обозначениях, введённых в статье Шаблон:Не переведено 5, это плотность распределения $\text{Inv-Gamma}(a_0,b_0)$ с $a_0=\frac{v_0}{2}$ и $b_0=\frac{1}{2}{v}_0{s}_0^2$, где $v_0$ и $s_0^2$ являются априорными значениями $v$ и $s^2$ соответственно. Эквивалентно, эту плотность можно описать как Шаблон:Не переведено 5 $\text{Scale-inv-}{\chi }^2(v_0,s_0^2).$

Далее, условная априорная плотность $\rho (𝜷|{\sigma }^2)$ является нормальным распределением,

$\rho (𝜷|{\sigma }^2)\propto ({\sigma }^2{)}^{-\frac{k}{2}}{e}^{-\frac{1}{2{\sigma }^2}(𝜷-{𝝁}_0{)}^{\mathrm{T}}{𝜦}_0(𝜷-{𝝁}_0)}.$

В обозначениях нормального распределения условное априорное распределение равно $𝒩({𝝁}_0,{\sigma }^2{𝜦}_0^{-1}).$

Апостериорное распределение

При указанном априорным распределении апостериорное распределение можно выразить как

$\rho (𝜷,{\sigma }^2|𝐲,𝐗)\propto \rho (𝐲|𝐗,𝜷,{\sigma }^2)\rho (𝜷|{\sigma }^2)\rho ({\sigma }^2)$

$\propto ({\sigma }^2{)}^{-n/2}{e}^{-\frac{1}{2{\sigma }^2}(𝐲-𝐗𝜷{)}^{\mathrm{T}}(𝐲-𝐗𝜷)}$

$\times ({\sigma }^2{)}^{-k/2}{e}^{-\frac{1}{2{\sigma }^2}(𝜷-{𝝁}_0{)}^{\mathrm{T}}{𝜦}_0(𝜷-{𝝁}_0)}$

$\times ({\sigma }^2{)}^{-(a_0+1)}{e}^{-\frac{b_0}{{\sigma }^2}}.$

После некоторых преобразований апостериорная вероятность может быть переписана так, что апостериорное среднее ${𝝁}_n$ вектора параметров $𝜷$ может быть выражено в терминах оценки по методу наименьших квадратов $\widehat{𝜷}$ и априорного среднего ${𝝁}_0$, где поддержка априорной вероятности выражается матрицей априорной точности ${𝜦}_0$

${𝝁}_n=({𝐗}^{\mathrm{T}}𝐗+{𝜦}_0{)}^{-1}({𝐗}^{\mathrm{T}}𝐗\widehat{𝜷}+{𝜦}_0{𝝁}_0).$

Для подтверждения, что ${𝝁}_n$ в действительности является апостериорным средним, квадратичные члены в экспоненте можно преобразовать к Шаблон:Не переведено 5 от $𝜷-{𝝁}_n$.

$(𝐲-𝐗𝜷{)}^{\mathrm{T}}(𝐲-𝐗𝜷)+(𝜷-{𝝁}_0{)}^{\mathrm{T}}{𝜦}_0(𝜷-{𝝁}_0)=$

$(𝜷-{𝝁}_n{)}^{\mathrm{T}}({𝐗}^{\mathrm{T}}𝐗+{𝜦}_0)(𝜷-{𝝁}_n)+{𝐲}^{\mathrm{T}}𝐲-{𝝁}_n^{\mathrm{T}}({𝐗}^{\mathrm{T}}𝐗+{𝜦}_0){𝝁}_n+{𝝁}_0^{\mathrm{T}}{𝜦}_0{𝝁}_0.$

Теперь апостериорное распределение можно выразить как нормальное распределение, умноженное на Шаблон:Не переведено 5:

$\rho (𝜷,{\sigma }^2|𝐲,𝐗)\propto ({\sigma }^2{)}^{-\frac{k}{2}}{e}^{-\frac{1}{2{\sigma }^2}(𝜷-{𝝁}_n{)}^{\mathrm{T}}({𝐗}^{\mathrm{T}}𝐗+{𝜦}_0)(𝜷-{𝝁}_n)}$

$\times ({\sigma }^2{)}^{-\frac{n+2a_0}{2}-1}{e}^{-\frac{2b_0+{𝐲}^{\mathrm{T}}𝐲-{𝝁}_n^{\mathrm{T}}({𝐗}^{\mathrm{T}}𝐗+{𝜦}_0){𝝁}_n+{𝝁}_0^{\mathrm{T}}{𝜦}_0{𝝁}_0}{2{\sigma }^2}}.$

Поэтому апостериорное распределение можно параметризовать следующим образом.

$\rho (𝜷,{\sigma }^2|𝐲,𝐗)\propto \rho (𝜷|{\sigma }^2,𝐲,𝐗)\rho ({\sigma }^2|𝐲,𝐗),$

где два множителя соответствуют плотностям распределений $𝒩({𝝁}_n,{\sigma }^2{𝜦}_n^{-1})$ и $\text{Inv-Gamma}(a_n,b_n)$ с параметрами, задаваемыми выражениями

${𝜦}_n=({𝐗}^{\mathrm{T}}𝐗+{𝜦}_0),{𝝁}_n=({𝜦}_n{)}^{-1}({𝐗}^{\mathrm{T}}𝐗\widehat{𝜷}+{𝜦}_0{𝝁}_0),$

$a_n=a_0+\frac{n}{2},b_n=b_0+\frac{1}{2}({𝐲}^{\mathrm{T}}𝐲+{𝝁}_0^{\mathrm{T}}{𝜦}_0{𝝁}_0-{𝝁}_n^{\mathrm{T}}{𝜦}_n{𝝁}_n).$

Это можно интерпретировать как байесовское обучение, в котором параметры обновляются согласно следующим равенствам

${𝝁}_n=({𝐗}^{\mathrm{T}}𝐗+{𝜦}_0{)}^{-1}({𝜦}_0{𝝁}_0+{𝐗}^{\mathrm{T}}𝐗\widehat{𝜷})=({𝐗}^{\mathrm{T}}𝐗+{𝜦}_0{)}^{-1}({𝜦}_0{𝝁}_0+{𝐗}^{\mathrm{T}}𝐲),$

${𝜦}_n=({𝐗}^{\mathrm{T}}𝐗+{𝜦}_0),$

$a_n=a_0+\frac{n}{2},$

$b_n=b_0+\frac{1}{2}({𝐲}^{\mathrm{T}}𝐲+{𝝁}_0^{\mathrm{T}}{𝜦}_0{𝝁}_0-{𝝁}_n^{\mathrm{T}}{𝜦}_n{𝝁}_n).$

Обоснованность модели

Обоснованность модели $p(𝐲|m)$ — это вероятность данных для данной модели $m$. Она известна также как предельное правдоподобие и как априорная предсказательная плотность. Здесь модель определяется функцией правдоподобия $p(𝐲|𝐗,𝜷,\sigma )$ и априорным распределением параметров, то есть, $p(𝜷,\sigma )$. Обоснованность модели фиксируется одним числом, показывающим, насколько хорошо такая модель объясняет наблюдения. Обоснованность модели байесовской линейной регрессии, представленная в этом разделе, может быть использована для сравнения конкурирующих линейных моделей путём байесовского сравнения моделей. Эти модели могут отличаться числом и значениями предсказывающих переменных, как и их априорными значениями в параметрах модели. Сложность модели принимается во внимание обоснованностью модели, поскольку она исключает параметры путём интегрирования $p(𝐲,𝜷,\sigma |𝐗)$ по всем возможным значениям $𝜷$ и $\sigma$.

$p(𝐲|m)=\int p(𝐲|𝐗,𝜷,\sigma )p(𝜷,\sigma )d𝜷d\sigma$

Этот интеграл можно вычислить аналитически и решение задаётся следующим равенством

$p(𝐲|m)=\frac{1}{(2\pi {)}^{n/2}}\sqrt{\frac{\det ({𝜦}_0)}{\det ({𝜦}_n)}}\cdot \frac{b_0^{a_0}}{b_n^{a_n}}\cdot \frac{\Gamma (a_n)}{\Gamma (a_0)}$

Здесь $\Gamma$ означает гамма-функцию. Поскольку мы выбрали сопряжённое априорное распределение, предельное правдоподобие может быть легко вычислено путём решения следующего равенства для произвольных значений $𝜷$ и $\sigma$.

$p(𝐲|m)=\frac{p(𝜷,\sigma |m)p(𝐲|𝐗,𝜷,\sigma ,m)}{p(𝜷,\sigma |𝐲,𝐗,m)}$

Заметим, что это равенство является ни чем иным, как переформулировкой теоремы Байеса. Подстановка формулы для априорной вероятности, правдоподобия и апостериорной вероятности и упрощения получающегося выражения приводит к аналитическому выражению, приведённому выше.

Другие случаи

В общем случае может оказаться невозможным или нецелесообразным получать апостериорное распределение аналитически. Однако можно аппроксимировать апостериорную вероятность методом Шаблон:Не переведено 5, таким как выборка по методу Монте-Карло или Шаблон:Не переведено 5.

Частный случай ${𝝁}_0=0,{𝜦}_0=c𝐄$ называется гребневой регрессией.

Аналогичный анализ можно провести для общего случая множественной регрессии и частично для байесовской Шаблон:Не переведено 5 — см. Шаблон:Не переведено 5.

См. также

• Шаблон:Не переведено 5
• Шаблон:Не переведено 5
• Метод регуляризации Тихонова
• Шаблон:Не переведено 5
• Шаблон:Не переведено 5

Литература

• Шаблон:Книга
• Шаблон:Книга
• Шаблон:Книга
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Книга
• Шаблон:Книга
• Minka, Thomas P. (2001) Bayesian Linear Regression Шаблон:Wayback, Microsoft research web page
• Шаблон:Книга
• Шаблон:Книга
• Шаблон:Книга
• Шаблон:Статья

Программное обеспечение

• Python
  • Bayesian Type-II Linear Regression code, tutorial Шаблон:Wayback
  • ARD Linear Regression code Шаблон:Wayback
  • ARD Linear Regression with kernelized features code Шаблон:Wayback, tutorial Шаблон:Wayback