Регрессия Деминга

Двумерный случай метода наименьших полных квадратов (регрессия Деминга). Красные отрезки показывают ошибку как по x, так и по y, что отличается от традиционного метода наименьших квадратов, в котором ошибка измеряется только по оси y. Показан случай, когда отклонение измеряется перпендикулярно, что происходит, когда x и y имеют равные дисперсии.

В статистике регрессия Деминга, названная именем У. К. Деминга, — это вид Шаблон:Не переведено 5, которая пытается найти прямую наилучшего сглаживания для двумерного набора данных. Регрессия отличается от Шаблон:Не переведено 5 в том, что она принимает во внимание Шаблон:Не переведено 5 в наблюдении как по оси x, так и по оси y. Регрессия является частным случаем метода наименьших полных квадратов, которая рассматривает любое число показателей и имеет более сложную структуру ошибок.

Регрессия Деминга эквивалентна оценке максимального правдоподобия на Шаблон:Не переведено 5, в которой ошибки двух переменных считаются независимыми и имеют нормальное распределение, а отношение их дисперсий, δ, известно Шаблон:Sfn. На практике это отношение может быть оценено из исходных данных. Однако процедура регрессии не принимает во внимание возможные ошибки в оценке отношений дисперсии.

Регрессия Деминга лишь слегка сложнее Шаблон:Не переведено 5. Большинство статистических пакетов, используемых в клинической химии, предоставляют регрессию Деминга.

Модель первоначально была предложена АдкокомШаблон:Sfn, который рассматривал случай δ = 1, а затем рассматривалась в более общем виде Куммеллем Шаблон:Sfn с произвольным δ. Однако их идеи оставались большей частью незамеченными более 50 лет, пока их не возродил КупмансШаблон:Sfn и позднее распространил ДемингШаблон:Sfn. Книга последнего стала столь популярной в клинической химии и связанных областях, что метод в этих областях получил название регрессия ДемингаШаблон:Sfn.

Спецификация

Предположим, что данные (y_i, x_i) являются значениями, полученными в ходе измерений "истинных" значений (y_i*, x_i*), которые лежат на регрессионной прямой:

$\begin{array}{cc}{y}_i& =y_i^{*}+{\epsilon }_i,\\ x_i& =x_i^{*}+{\eta }_i,\end{array}$

где ошибки ε и η независимы и отношение их дисперсий, известно:

$\delta =\frac{{\sigma }_{\epsilon }^2}{{\sigma }_{\eta }^2}.$

На практике дисперсии параметров $x$ и $y$ часто неизвестны, что усложняет оценку $\delta$. Заметим, что когда метод измерения $x$ и $y$ тот же самый, эти дисперсии, скорее всего, равны, так что в этом случае $\delta =1$.

Мы пытаемся найти прямую "наилучшего сглаживания"

$y^{*}={\beta }_0+{\beta }_1{x}^{*},$

такую, что взвешенная сумма квадратов остатков минимальна Шаблон:Sfn

$SSR=\sum _{i=1}^n(\frac{{\epsilon }_i^2}{{\sigma }_{\epsilon }^2}+\frac{{\eta }_i^2}{{\sigma }_{\eta }^2})=\frac{1}{{\sigma }_{\epsilon }^2}\sum _{i=1}^n((y_i-{\beta }_0-{\beta }_1{x}_i^{*}{)}^2+\delta (x_i-x_i^{*}{)}^2)\to \underset{{\beta }_0,{\beta }_1,x_1^{*},\dots ,x_n^{*}}{\min }SSR$

Решение

Решение может быть выражено в терминах моментов второго порядка. То есть мы сначала вычисляем следующие величины (все суммы берутся по i = 1 : n):

$\begin{array}{cc}& \bar{x}=\frac{1}{n}\sum x_i,\bar{y}=\frac{1}{n}\sum y_i,\\ & s_{xx}=\frac{1}{n}\sum (x_i-\bar{x}{)}^2,\\ & s_{xy}=\frac{1}{n}\sum (x_i-\bar{x})(y_i-\bar{y}),\\ & s_{yy}=\frac{1}{n}\sum (y_i-\bar{y}{)}^2.\end{array}$

Наконец, параметры оценки методом наименьших квадратов будутШаблон:Sfn:

$\begin{array}{cc}& {\hat{\beta }}_1=\frac{s_{yy}-\delta s_{xx}+\sqrt{(s_{yy}-\delta s_{xx}{)}^2+4\delta s_{xy}^2}}{2s_{xy}},\\ & {\hat{\beta }}_0=\bar{y}-{\hat{\beta }}_1\bar{x},\\ & {\hat{x}}_i^{*}=x_i+\frac{{\hat{\beta }}_1}{{\hat{\beta }}_1^2+\delta }(y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_i).\end{array}$

Ортогональная регрессия

В случае равенства дисперсий ошибок, т.е. в случае $\delta =1$, регрессия Деминга становится ортогональной регрессией — она минимизирует сумму квадратов Шаблон:Не переведено 5. В этом случае обозначим каждую точку выборки z_j на комплексной плоскости (т.е. точка (x_j, y_j) выборки записывается как z_j = x_j + iy_j, где i — мнимая единица). Обозначим через Z сумму квадратов разностей от точек выборки до центра тяжести (также представленного в комплексных координатах). Центр тяжести — это среднее точек выборки. ТогдаШаблон:Sfn:

• Если Z = 0, то любая прямая, проходящая через центр тяжести, является прямой наилучшего ортогонального сглаживания.
• Если Z ≠ 0, прямая наилучшего ортогонального сглаживания проходит через центр тяжести и параллельна вектору из начала координат в $\sqrt{Z}$.

Тригонометрическую интерпретацию прямой наилучшего ортогонального сглаживания дал Кулидж в 1913Шаблон:Sfn.

Приложения

В случае трёх неколлинеарных точек на плоскости треугольник, образованный этими точками, имеет единственный вписанный эллипс Штейнера, который касается сторон треугольника в средних точках. Главная ось этого эллипса будет ортогональной регрессией этих трёх вершинШаблон:Sfn.

Литература

• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Книга
• Шаблон:Книга
• Шаблон:Статья
• Шаблон:Книга
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Статья