Метод максимального правдоподобия

Шаблон:ClearМе́тод максима́льного правдоподо́бия или метод наибольшего правдоподобия (ММП, ML, MLE — Шаблон:Lang-en) в математической статистике — это метод оценивания неизвестного параметра путём максимизации функции правдоподобия. Основан на предположении о том, что вся информация о статистической выборке содержится в функции правдоподобия. Метод максимального правдоподобия был проанализирован, рекомендован и значительно популяризирован Р. Фишером между 1912 и 1922 годами (хотя ранее он был использован Гауссом, Лапласом и другими).

Оценка максимального правдоподобия является популярным статистическим методом, который используется для создания статистической модели на основе данных и обеспечения оценки параметров модели.

Метод максимального правдоподобия соответствует многим известным методам оценки в области статистики. Например, вы интересуетесь таким антропометрическим параметром, как рост жителей России. Предположим, у вас имеются данные о росте некоторого количества людей, а не всего населения. Кроме того, предполагается, что рост является нормально распределённой величиной с неизвестной дисперсией и средним значением. Среднее значение и дисперсия роста в выборке являются максимально правдоподобными к среднему значению и дисперсии всего населения.

Для фиксированного набора данных и базовой вероятностной модели, используя метод максимального правдоподобия, мы получим значения параметров модели, которые делают данные «более близкими» к реальным. Оценка максимального правдоподобия даёт уникальный и простой способ определить решения в случае нормального распределения.

Метод оценки максимального правдоподобия применяется для широкого круга статистических моделей, в том числе:

• линейные модели и обобщённые линейные модели;
• факторный анализ;
• моделирование структурных уравнений;
• многие ситуации, в рамках проверки гипотезы и доверительного интервала формирования;
• дискретные модели выбора.

Сущность метода

Пусть есть выборка $X_1,\dots ,X_n$ из распределения ${\mathbb{P}}_{\theta }$, где $\theta \in \mathrm{\Theta }$ — неизвестные параметры. Пусть $L(𝐱\mid \theta ):\mathrm{\Theta }\to ℝ$ — функция правдоподобия, где $𝐱\in {ℝ}^n$. Точечная оценка

${\hat{\theta }}_{\mathrm{M}\mathrm{\Pi }}={\hat{\theta }}_{\mathrm{M}\mathrm{\Pi }}(X_1,\dots ,X_n)=\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}\underset{\theta \in \mathrm{\Theta }}{}L(X_1,\dots ,X_n\mid \theta )$

называется оце́нкой максима́льного правдоподо́бия параметра $\theta$. Таким образом оценка максимального правдоподобия — это такая оценка, которая максимизирует функцию правдоподобия при фиксированной реализации выборки.

Часто вместо функции правдоподобия $L$ используют логарифмическую функцию правдоподобия $l=\ln L$. Так как функция $x\to \ln x,x>0$ монотонно возрастает на всей области определения, максимум любой функции $L(\theta )$ является максимумом функции $\ln L(\theta )$ и наоборот. Таким образом,

${\hat{\theta }}_{\mathrm{M}\mathrm{\Pi }}=\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}\underset{\theta \in \mathrm{\Theta }}{}l(X_1,\dots ,X_n\mid \theta )$,

Если функция правдоподобия дифференцируема, то необходимое условие экстремума — равенство нулю её градиента:

$g(\theta )=\frac{\partial l(𝐱,{\theta }_0)}{\partial \theta }=0$

Достаточное условие экстремума может быть сформулировано как отрицательная определённость гессиана — матрицы вторых производных:

$H=\frac{{\partial }^{2}l(𝐱,{\theta }_0)}{\partial \theta \partial {\theta }^T}$

Важное значение для оценки свойств оценок метода максимального правдоподобия играет так называемая информационная матрица, равная по определению:

$I(\theta )=E[g(\theta )g(\theta {)}^T]$

В оптимальной точке информационная матрица совпадает с математическим ожиданием гессиана, взятым со знаком минус:

$I=-E(H_0)$

Свойства

• Оценки максимального правдоподобия, вообще говоря, могут быть смещёнными (см. примеры), но являются состоятельными, асимптотически эффективными и асимптотически нормальными оценками. Асимптотическая нормальность означает, что

$\sqrt{n}(\hat{\theta }-\theta )\stackrel{d}{\to }N(0,{𝑰}_{\mathrm{\infty }}^{-1})$

где ${𝑰}_{\mathrm{\infty }}=-\underset{n\to \mathrm{\infty }}{lim}\frac{1}{n}𝔼(𝑯)$ — асимптотическая информационная матрица.

Асимптотическая эффективность означает, что асимптотическая ковариационная матрица ${𝑰}_{\mathrm{\infty }}^{-1}$ является нижней границей для всех состоятельных асимптотически нормальных оценок.

• Если $\hat{\theta }$ — оценка метода максимального правдоподобия, параметров $\theta$, то $g(\hat{\theta })$ является оценкой максимального правдоподобия для $g(\theta )$, где g — непрерывная функция (функциональная инвариантность). Таким образом, законы распределения данных можно параметризовать различным образом.
• Также необходимым условием МП-оценок является выполнение системы вида:

  $\{\begin{array}{ccc}\frac{\partial }{\partial {\theta }_1}\ln L_n(\overrightarrow{x},\overrightarrow{\theta })& =& 0\\ \cdots & \cdots & \\ \frac{\partial }{\partial {\theta }_k}\ln L_n(\overrightarrow{x},\overrightarrow{\theta })& =& 0\end{array}$

где $L_n(\overrightarrow{x},\overrightarrow{\theta })=\prod _{i=1}^n{L}_1(x_i,\overrightarrow{\theta })$ — функция правдоподобия выборки $\overrightarrow{x}$ объёма $n$

Примеры

• Пусть $X_1,\dots ,X_n\sim \mathrm{U}[0,\theta ]$ — независимая выборка из непрерывного равномерного распределения на отрезке $[0,\theta ]$, где $\theta >0$ — неизвестный параметр. Тогда функция правдоподобия имеет вид

$f(𝐱\mid \theta )=\{\begin{array}{cc}\frac{1}{{\theta }^n},& 𝐱\in [0,\theta {]}^n\subset {ℝ}^n\\ 0,& 𝐱\in ̸[0,\theta {]}^n\end{array}.$

Последнее равенство может быть переписано в виде:

$f(𝐱\mid \theta )=\{\begin{array}{cc}\frac{1}{{\theta }^n},& \theta \ge max(x_1,\dots ,x_n)\\ 0,& \theta <max(x_1,\dots ,x_n)\end{array},$

где $𝐱=(x_1,\dots ,x_n{)}^{\mathrm{\top }}$, откуда видно, что своего максимума функция правдоподобия достигает в точке $\theta =max(x_1,\dots ,x_n)$. Таким образом

${\hat{\theta }}_{\mathrm{M}\mathrm{\Pi }}=max(X_1,\dots ,X_n)$.

Такая оценка будет смещенной: $P\{max(X_1,\dots ,X_n)\le x\}={\left(\frac{x}{\theta }\right)}^n$, откуда $E{\hat{\theta }}_{\mathrm{M}\mathrm{\Pi }}={\int }_0^{\theta }xd{\left(\frac{x}{\theta }\right)}^n=\frac{n}{n+1}\theta$

• Пусть $X_1,\dots ,X_n\sim \mathrm{N}(\mu ,{\sigma }^2)$ — независимая выборка из нормального распределения с неизвестными средним и дисперсией. Построим оценку максимального правдоподобия ${({\hat{\mu }}_{\mathrm{M}\mathrm{\Pi }},{\widehat{{\sigma }^2}}_{\mathrm{M}\mathrm{\Pi }})}^{\mathrm{T}}$ для неизвестного вектора параметров ${(\mu ,{\sigma }^2)}^{\mathrm{T}}$. Логарифмическая функция правдоподобия принимает вид

$L(𝐱\mid \mu ,{\sigma }^2)=-\frac{n}{2}\ln (2\pi {\sigma }^2)-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(X_i-\mu {)}^2$.

Чтобы найти её максимум, приравняем к нулю частные производные:

$\{\begin{array}{c}\frac{\partial }{\partial \mu }L(𝐱\mid \mu ,{\sigma }^2)=0\\ \frac{\partial }{\partial {\sigma }^2}L(𝐱\mid \mu ,{\sigma }^2)=0\end{array}\Rightarrow \{\begin{array}{c}\frac{\sum _{i=1}^n{X}_i-n\mu }{{\sigma }^2}=0\\ -\frac{n}{2{\sigma }^2}+\frac{\sum _{i=1}^n(X_i-\mu {)}^2}{2{\left({\sigma }^2\right)}^2}=0\end{array},$

откуда

${\hat{\mu }}_{\mathrm{M}\mathrm{\Pi }}=\bar{X}$ — выборочное среднее, а

${\widehat{{\sigma }^2}}_{\mathrm{M}\mathrm{\Pi }}=S_n^2$ — выборочная дисперсия.

Применение метода

Обработка эксперимента

Предположим, что мы измеряем некоторую величину $a$. Сделав одно измерение, получили её значение $x_1$ с ошибкой ${\sigma }_1$: $x_1\pm {\sigma }_1$. Запишем плотность вероятности того, что величина $a$ примет значение $x_1$:

$W(a)=\frac{1}{\sqrt{2\pi {\sigma }_1^2}}\exp [-\frac{(x_1-a{)}^2}{2{\sigma }_1^2}]$.

Теперь предположим, что мы провели несколько таких измерений и получили $x_1\pm {\sigma }_1,x_2\pm {\sigma }_2\dots x_n\pm {\sigma }_n$. Плотность вероятности того, что величина $a$ примет значения $x_1,x_2\dots x_n$, будет:

$W(a)=\prod _{i=1}^n\frac{1}{\sqrt{2\pi {\sigma }_i^2}}\exp [-\frac{(x_i-a{)}^2}{2{\sigma }_i^2}]$.

Эта функция называется функцией правдоподобия. Наиболее вероятное значение измеряемой величины $a^{\ast }$ определяется по максимуму функции правдоподобия. Более удобной является логарифмическая функция правдоподобия:

$L(a)=\ln W(a)=-\sum _{i=1}^n\frac{(x_i-a{)}^2}{2{\sigma }_i^2}+\sum _{i=1}^n\ln \frac{1}{\sqrt{2\pi {\sigma }_i^2}}$.

Продифференцируем логарифмическую функцию правдоподобия по $a$:

$\frac{\partial L}{\partial a}=\sum _{i=1}^n\frac{x_i-a}{{\sigma }_i^2}$.

Приравняем $\frac{\partial L}{\partial a}$ к $0$ и получим некоторое значение $a=a^{\ast }$:

$a^{\ast }=\frac{\sum _{i=1}^n\frac{x_i}{{\sigma }_i^2}}{\sum _{i=1}^n\frac{1}{{\sigma }_i^2}}$.

Крамер сформулировал следующую теорему:

Теорема: Не существует другого метода обработки результатов эксперимента, который дал бы лучшее приближение к истине, чем метод максимального правдоподобия.

Ошибки измерений

Предположим, что мы провели серию измерений и получили серию значений $a^{\ast }$, естественно записать, что это распределение будет иметь гауссовский вид:

$W(a)=\frac{1}{\sqrt{2\pi {\sigma }_{a^{\ast }}^2}}\exp [-\frac{(a^{\ast }-a{)}^2}{2{\sigma }_{a^{\ast }}^2}]$.

Запишем логарифмическую функцию правдоподобия:$L(a)=\ln W(a)=-\frac{(a^{\ast }-a{)}^2}{2{\sigma }_{a^{\ast }}^2}+\ln \frac{1}{\sqrt{2\pi {\sigma }_{a^{\ast }}^2}}$.

Возьмем первую производную:

$\frac{\partial L}{\partial a}=\frac{a^{\ast }-a}{{\sigma }_{a^{\ast }}^2}$.

Если $\frac{\partial L}{\partial a}=0$ , то $a=a^{\ast }$. Теперь возьмем вторую производную:

$\frac{{\partial }^{2}L}{\partial a^2}=-\frac{1}{{\sigma }_{a^{\ast }}^2}$, откуда

${\sigma }_{a^{\ast }}={(-\frac{{\partial }^{2}L}{\partial a^2}{|}_{a=a^{\ast }})}^{-1/2}$.

Это называется первой магической формулой.

Условный метод максимального правдоподобия

Условный метод максимального правдоподобия (Conditional ML) используется в регрессионных моделях. Суть метода заключается в том, что используется не полное совместное распределение всех переменных (зависимой и регрессоров), а только условное распределение зависимой переменной по факторам, то есть фактически распределение случайных ошибок регрессионной модели. Полная функция правдоподобия есть произведение «условной функции правдоподобия» и плотности распределения факторов. Условный ММП эквивалентен полному варианту ММП в том случае, когда распределение факторов никак не зависит от оцениваемых параметров. Это условие часто нарушается в моделях временных рядов, например в авторегрессионной модели. В данном случае, регрессорами являются прошлые значения зависимой переменной, а значит их значения также подчиняются той же AR-модели, то есть распределение регрессоров зависит от оцениваемых параметров. В таких случаях результаты применения условного и полного метода максимального правдоподобия будут различаться.

См. также

• Правдоподобие принятой последовательности
• Метод моментов
• Обобщенный метод моментов
• Метод наименьших квадратов
• Метод инструментальных переменных
• EM-алгоритм

Литература

• Шаблон:Книга
• Шаблон:Книга
• Шаблон:Книга