Дельта-метод (статистика)

Шаблон:Значения Дельта-метод (в статистике) — вероятностное распределение функции от асимптотически нормальной статистической оценки при известной асимптотической дисперсии этой оценки.

Одномерный дельта-метод

Хотя дельта-метод легко обобщается до многомерного случая, аккуратное обоснование этой техники проще продемонстрировать в одномерной постановке задачи. Грубо говоря, если существует последовательность случайных величин Шаблон:Mvar , удовлетворяющая:

$\sqrt{n}[X_n-\theta ]\stackrel{D}{\to }𝒩(0,{\sigma }^2)$

где θ и σ² - конечные константы, а $\stackrel{D}{\to }$ обозначает сходимость по распределению, то верно:

$\sqrt{n}[g(X_n)-g(\theta )]\stackrel{D}{\to }𝒩(0,{\sigma }^2[g^{\prime }(\theta ){]}^2)$

для любой функции g, такой, что  Шаблон:Math существует, принимает ненулевые значения, и полиномиально ограничена случайной величиной.

Доказательство в одномерном случае

Демонстрация этого результата довольно очевидна в предположении, что Шаблон:Math непрерывна. 

По формуле Лагранжа: $g(X_n)=g(\theta )+g^{\prime }(\tilde{\theta })(X_n-\theta ),$

где $\tilde{\theta }$ лежит между Шаблон:Mvar и θ.

Поскольку  $X_n\stackrel{P}{\to }\theta$ и$X_n<\tilde{\theta }<\theta$, то $\tilde{\theta }\stackrel{P}{\to }\theta$ , и поскольку Шаблон:Math непрерывна, применение теоремы о непрерывном отображении даёт:

$g^{\prime }(\tilde{\theta })\stackrel{P}{\to }{g}^{\prime }(\theta ),$

где $\stackrel{P}{\to }$ обозначает сходимость по вероятности.

Перестановка слагаемых и умножение на  $\sqrt{n}$ даёт $\sqrt{n}[g(X_n)-g(\theta )]=g^{\prime }\left(\tilde{\theta }\right)\sqrt{n}[X_n-\theta ].$

Так как $\sqrt{n}[X_n-\theta ]\stackrel{D}{\to }𝒩(0,{\sigma }^2)$ по предположению, то применение теоремы Слуцкого даёт $\sqrt{n}[g(X_n)-g(\theta )]\stackrel{D}{\to }𝒩(0,{\sigma }^2[g^{\prime }(\theta ){]}^2).$

Это завершает доказательство.

Доказательство с явным порядком приближения

Как вариант, можно добавить ещё один шаг в конце, чтобы выразить степень приближения.

$\begin{array}{cc}\sqrt{n}[g(X_n)-g(\theta )]& =g^{\prime }\left(\tilde{\theta }\right)\sqrt{n}[X_n-\theta ]=\sqrt{n}[X_n-\theta ][g^{\prime }(\tilde{\theta })+g^{\prime }(\theta )-g^{\prime }(\theta )]\\ & =\sqrt{n}[X_n-\theta ][g^{\prime }(\theta )]+\sqrt{n}[X_n-\theta ][g^{\prime }(\tilde{\theta })-g^{\prime }(\theta )]\\ & =\sqrt{n}[X_n-\theta ][g^{\prime }(\theta )]+O_p(1)\cdot o_p(1)\\ & =\sqrt{n}[X_n-\theta ][g^{\prime }(\theta )]+o_p(1)\end{array}$

Это говорит о том, что ошибка аппроксимации сходится к 0 по вероятности.

Многомерный дельта-метод

По определению, состоятельная оценка B сходится по вероятности к своему истинному значению β, и зачастую можно применить центральную предельную теорему, чтобы получить асимптотически нормальную оценку:

$\sqrt{n}(B-\beta )\stackrel{D}{\to }N(0,\mathrm{\Sigma }),$

где n -- число наблюдений и Σ -- (симметричная, положительно определённая) ковариационная матрица. Предположим, мы хотим оценить дисперсию скалярной функции h от оценки B. Возьмём первых два члена ряда Тейлора и используя векторную нотацию градиента, мы можем оценить h(B) как

$h(B)\approx h(\beta )+\mathrm{\nabla }h(\beta {)}^T\cdot (B-\beta )$

что означает, что дисперсия h(B) примерно

$\begin{array}{cc}\mathrm{Var}(h(B))& \approx \mathrm{Var}(h(\beta )+\mathrm{\nabla }h(\beta {)}^T\cdot (B-\beta ))\\ & =\mathrm{Var}(h(\beta )+\mathrm{\nabla }h(\beta {)}^T\cdot B-\mathrm{\nabla }h(\beta {)}^T\cdot \beta )\\ & =\mathrm{Var}(\mathrm{\nabla }h(\beta {)}^T\cdot B)\\ & =\mathrm{\nabla }h(\beta {)}^T\cdot \mathrm{Cov}(B)\cdot \mathrm{\nabla }h(\beta )\\ & =\mathrm{\nabla }h(\beta {)}^T\cdot \frac{\mathrm{\Sigma }}{n}\cdot \mathrm{\nabla }h(\beta )\end{array}$

Можно использовать формулу конечных приращений (для действительнозначных функций нескольких переменных), чтобы увидеть, что это не влияет на приближения в первом порядкеШаблон:?.

Дельта метод утверждает, что

$\sqrt{n}(h(B)-h(\beta ))\stackrel{D}{\to }N(0,\mathrm{\nabla }h(\beta {)}^T\cdot \mathrm{\Sigma }\cdot \mathrm{\nabla }h(\beta ))$

или в одномерном случае:

$\sqrt{n}(h(B)-h(\beta ))\stackrel{D}{\to }N(0,{\sigma }^2\cdot {(h^{\prime }(\beta ))}^2).$