Метод наименьших полных квадратов

Двумерный случай метода наименьших полных квадратов (регрессия Деминга). Красные отрезки показывают ошибку как по x, так и по y, что отличается от традиционного метода наименьших квадратов, в котором ошибка измеряется только по оси y.

В прикладной статистике метод наименьших полных квадратов (МНПК, TLS — Шаблон:Lang-en) — это вид Шаблон:Не переведено 5, техника моделирования данных с помощью метода наименьших квадратов, в которой принимаются во внимание ошибки как в зависимых, так и в независимых переменных. Метод является обобщением регрессии Деминга и ортогональной регрессии и может быть применён как к линейным, так и нелинейным моделям.

Аппроксимация данных методом наименьших полных квадратов в общем виде эквивалентна лучшей по норме Фробениуса Шаблон:Не переведено 5 матрицы данныхШаблон:Sfn.

Линейная модель

Основы

В методе наименьших квадратов моделирования данных минимизируется функция потерь S,

$S={𝐫}^{𝐓}𝐖𝐫,$

где r — вектор Шаблон:Не переведено 5, а W — весовая матрица. В линейном методе наименьших квадратов модель содержит уравнения, которые линейны от параметров в векторе $\mathit{\beta }$, так что отклонения вычисляются по формуле

$𝐫\mathbf{=}𝐲\mathbf{-}𝐗\mathit{\beta }.$

Имеется m наблюдений в векторе y и n параметров в β при m>n. X является m×n матрицей, элементы которой либо константы, либо функции от независимых переменных x. Весовая матрица W, в идеале, является обратной к дисперсионно-ковариационной матрице ${𝐌}_y$ наблюдений y. Предполагается, что независимые переменные ошибок не имеют. Параметры оценки находятся путём приравнивания градиента нулю, что приводит к уравнению

${𝐗}^{𝐓}𝐖𝐗\mathit{\beta }\mathbf{=}{𝐗}^{𝐓}𝐖𝐲$

Возможность ошибок наблюдений для всех переменных

Предположим теперь, что как x, так и y наблюдаются с ошибками с дисперсионно-ковариационными матрицами ${𝐌}_x$ и ${𝐌}_y$ соответственно. В этом случае функция потерь записывается как

$S=r_{𝐱}^{𝐓}{M}_{𝐱}^{\mathbf{-}\mathrm{𝟏}}{𝐫}_{𝐱}\mathbf{+}{r}_{𝐲}^{𝐓}{M}_{𝐲}^{\mathbf{-}\mathrm{𝟏}}{𝐫}_{𝐲}$,

где ${𝐫}_x$ и ${𝐫}_y$ являются отклонениями для x и y соответственно. Ясно, что эти отклонения не могут быть независимыми и между ними должна быть какая-то связь. Если записать функцию как $𝐟\mathbf{(}{𝐫}_{𝐱},{𝐫}_{𝐲},\mathit{\beta }\mathbf{)}$, ограничения выражаются m условиямиШаблон:Sfn.

$𝐅\mathbf{=}\mathrm{\Delta }𝐲\mathbf{-}\frac{\partial f}{\partial r_x}{𝐫}_{𝐱}\mathbf{-}\frac{\partial f}{\partial r_y}{𝐫}_{𝐲}\mathbf{-}𝐗\mathrm{\Delta }\mathit{\beta }\mathbf{=}\mathrm{𝟎}$

Таким образом, задача сводится к минимизации функции потерь при m ограничениях. Задача решается с помощью множителей Лагранжа. После некоторых алгебраических преобразованийШаблон:Sfn получим

${𝐗}^{𝐓}{𝐌}^{\mathbf{-}\mathrm{𝟏}}𝐗\mathrm{\Delta }\mathit{\beta }\mathbf{=}{𝐗}^{𝐓}{𝐌}^{\mathbf{-}\mathrm{𝟏}}\mathrm{\Delta }𝐲,$

или, альтернативно, ${𝐗}^{𝐓}{𝐌}^{\mathbf{-}\mathrm{𝟏}}𝐗\mathit{\beta }\mathbf{=}{𝐗}^{𝐓}{𝐌}^{\mathbf{-}\mathrm{𝟏}}𝐲$

Здесь M — дисперсионно-ковариационная матрица, относящаяся как к независимым, так и зависимым переменным.

$𝐌\mathbf{=}{𝐊}_{𝐱}{𝐌}_{𝐱}{K}_{𝐱}^{𝐓}\mathbf{+}{𝐊}_{𝐲}{𝐌}_{𝐲}{K}_{𝐲}^{𝐓};{𝐊}_{𝐱}\mathbf{=}\mathbf{-}\frac{\partial f}{\partial r_x},{𝐊}_{𝐲}\mathbf{=}\mathbf{-}\frac{\partial f}{\partial r_y}$

Пример

В случае, когда ошибки данных не коррелируют, все матрицы M и W диагональны. Тогда используем построение прямой по точкам.

$f(x_i,\beta )=\alpha +\beta x_i$

И в этом случае

$M_{ii}={\sigma }_{y,i}^2+{\beta }^2{\sigma }_{x,i}^2$

что показывает, как дисперсия в i-ой точке определяется дисперсией независимых и зависимых переменных, а также моделью, используемой для согласования данных. Выражение можно обобщить, если заметить, что параметр $\beta$ является наклоном прямой.

$M_{ii}={\sigma }_{y,i}^2+{\left(\frac{dy}{dx}\right)}_i^2{\sigma }_{x,i}^2$

Выражение такого вида используется для аппроксимации Шаблон:Не переведено 5, когда малые ошибки в x дают большие ошибки y в случае большого наклона.

С алгебраической точки зрения

Прежде всего следует заметить, что задача МНПК в общем случае решения не имеет, что было показано ещё в 1980Шаблон:Sfn. Рассмотрим простой случай, где единственное решение существует без каких-либо предположений.

Вычисление МНПК с помощью сингулярного разложения описан в стандартных текстахШаблон:Sfn. Мы можем решить уравнение

$XB\approx Y$

относительно B, где X — матрица m-на-n, а Y — матрица m-на-k

То есть мы пытаемся найти матрицу B, минимизирующую матрицы ошибок R и F для X и Y соответственно. То есть

${\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}_{R,F}\Vert [RF]{\Vert }_F,(X+R)B=Y+F$,

где $[RF]$ — расширенная матрица с R и F рядом и $\Vert \cdot {\Vert }_F$ является нормой матрицы, квадратным корнем из суммы квадратов всех элементов матриц, что эквивалентно квадратному корню из суммы квадратов длин строк или столбцов матрицы.

Это можно переписать как

$[(X+R)(Y+F)]\left[\begin{array}{c}B\\ -E_k\end{array}\right]=0.$

Где $E_k$ является $k\times k$ единичной матрицей. Целью является нахождение матрицы $[RF]$, которая уменьшает ранг $[XY]$ на k. Определим $[U][\mathrm{\Sigma }][V]*$ как сингулярное разложение расширенной матрицы $[XY]$.

$[XY]=[U_X{U}_Y]\left[\begin{array}{cc}{\mathrm{\Sigma }}_X& 0\\ 0& {\mathrm{\Sigma }}_Y\end{array}\right]{\left[\begin{array}{cc}{V}_{XX}& V_{XY}\\ V_{YX}& V_{YY}\end{array}\right]}^{*}=[U_X{U}_Y]\left[\begin{array}{cc}{\mathrm{\Sigma }}_X& 0\\ 0& {\mathrm{\Sigma }}_Y\end{array}\right]\left[\begin{array}{cc}{V}_{XX}^{*}& V_{YX}^{*}\\ V_{XY}^{*}& V_{YY}^{*}\end{array}\right]$,

где V разбита на блоки, соответствующие формам матриц X и Y.

Если использовать теорему Экарта-Янга, аппроксимация, минимизирующая норму ошибки, это такая аппроксимация, что матрицы $U$ и $V$ не меняются, в то время как $k$ наименьших сингулярных значений заменяются нулями. То есть мы хотим

$[(X+R)(Y+F)]=[U_X{U}_Y]\left[\begin{array}{cc}{\mathrm{\Sigma }}_X& 0\\ 0& 0_{k\times k}\end{array}\right]{\left[\begin{array}{cc}{V}_{XX}& V_{XY}\\ V_{YX}& V_{YY}\end{array}\right]}^{*}$

так что, ввиду линейности,

$[RF]=-[U_X{U}_Y]\left[\begin{array}{cc}{0}_{n\times n}& 0\\ 0& {\mathrm{\Sigma }}_Y\end{array}\right]{\left[\begin{array}{cc}{V}_{XX}& V_{XY}\\ V_{YX}& V_{YY}\end{array}\right]}^{*}.$

Мы можем удалить блоки из матриц U и Σ, упростив выражение до

$[RF]=-U_Y{\mathrm{\Sigma }}_Y{\left[\begin{array}{c}{V}_{XY}\\ V_{YY}\end{array}\right]}^{*}=-[XY]\left[\begin{array}{c}{V}_{XY}\\ V_{YY}\end{array}\right]{\left[\begin{array}{c}{V}_{XY}\\ V_{YY}\end{array}\right]}^{*}.$

Это даёт R и F, таки что

$[(X+R)(Y+F)]\left[\begin{array}{c}{V}_{XY}\\ V_{YY}\end{array}\right]=0.$

Теперь, если $V_{YY}$ не вырождена, что не всегда верно (заметим, что поведение МНПК в случае вырожденности $V_{YY}$ не вполне понятно), мы можем умножить справа обе части на $-V_{YY}^{-1}$, чтобы привести нижний блок правой матрицы к отрицательной единичной матрице, что даётШаблон:Sfn

$[(X+R)(Y+F)]\left[\begin{array}{c}-V_{XY}{V}_{YY}^{-1}\\ -V_{YY}{V}_{YY}^{-1}\end{array}\right]=[(X+R)(Y+F)]\left[\begin{array}{c}B\\ -E_k\end{array}\right]=0,$

а тогда

$B=-V_{XY}{V}_{YY}^{-1}.$

Имплементация в системе GNU Octave:

function B = tls(X,Y)

[m n]   = size(X);            % n является шириной матрицы X (X[m x n])
Z       = [X Y];              % Z является расширением X на Y.
[U S V] = svd(Z,0);           % находим [[Сингулярное разложение|SVD]] матрицы Z.
VXY     = V(1:n,1+n:end);     % Берём блок матрицы V, состоящий из первых n строк и n+1 последних столбцов
VYY     = V(1+n:end,1+n:end); % Берём нижний правы блок матрицы V.
B       = -VXY/VYY;

end

Метод решения задачи, описанный выше и требующий, чтобы матрица $V_{YY}$ не была вырожденной, может быть слегка расширен так называемым классическим МНПК алгоритмомШаблон:Sfn.

Вычисление

Стандартная имплементация классического алгоритма МНПК доступна на Netlib, см. также статьиШаблон:SfnШаблон:Sfn. Все современные имплементации, базирующиеся, например, на использовании обычного метода наименьших квадратов, аппроксимируют матрицу $B$ (которая в литературе обозначается как $X$), как это делают Ван Хуффель и Вандевалле. Стоит заметить, однако, что полученная матрица $B$ во многих случаях не является решением МНПКШаблон:Sfn.

Нелинейная модель

Для Шаблон:Не переведено 5 похожие рассуждения показывают, что нормальное уравнение для итерационного цикла может быть переписано как

${𝐉}^{𝐓}{𝐌}^{\mathbf{-}\mathrm{𝟏}}𝐉\mathrm{\Delta }\mathit{\beta }\mathbf{=}{𝐉}^{𝐓}{𝐌}^{\mathbf{-}\mathrm{𝟏}}\mathrm{\Delta }𝐲.$

Геометрическая интерпретация

Шаблон:Основная статья Шаблон:Подробно Если независимые переменные ошибок не имеют, отклонения представляют «вертикальное» расстояние между точкой данных и аппроксимирующей кривой (или поверхностью). В методе наименьших полных квадратов отклонения представляют расстояние между точкой данных и аппроксимирующей кривой, измеряемое в некотором направлении. Фактически, если обе переменные измеряются в одинаковых единицах и ошибки обоих переменных те же самые, то отклонение представляет кратчайшее расстояние от точки данных до аппроксимирующее кривой, то есть вектор отклонения перпендикулярен касательной к кривой. По этой причине этот тип регрессии называют иногда двумерной евклидовой регрессиейШаблон:Sfn или ортогональной регрессией.

Масштабно-инвариантные методы

Серьёзная трудность появляется, если переменные не измеряются в тех же самых единицах. Сначала рассмотрим измерение расстояния между точками данных и кривой — какова будет единица измерения для расстояния? Если мы будем измерять расстояние на основе теоремы Пифагора, ясно, что нам придётся складывать единицы, измеряемые в различных единицах, что приводит к бессмысленным результатам. Если мы заменим масштаб одной из переменных, например, будем измерять в граммах, а не килограммах, мы получим другие результаты (другую кривую). Чтобы избежать этой проблемы несоизмеримости, иногда предлагается переводить их в безразмерные величины — это можно назвать нормализацией или стандартизацией. Существуют, однако, различные пути сделать это, приводящие к неэквивалентным моделям. Один из подходов — нормализовать с помощью известной (или оценочной) точности измерения, минимизируя тем самым расстояние Махаланобиса до точек на линии и обеспечивая решение с максимальным правдоподобием. Неизвестные точности измерения могут быть найдены с помощью дисперсионного анализа.

Кратко, метод наименьших полных квадратов не имеет свойства инвариантности по единицам измерения, т.е. он не является масштабно инвариантным. Для полноценности модели мы требуем, чтобы это свойство выполнялось. Дальнейшее продвижение вперёд, это понимание, что отклонения (расстояния), измеряемые в других единицах, могут быть скомбинированы, если используется умножение, а не сложение. Рассмотрим аппроксимацию прямой, для каждой точки данных произведение горизонтального и вертикального отклонений равно удвоенной площади треугольника, образованного отрезками отклонений и аппроксимирующей прямой. Мы выбираем прямую, минимизирующую сумму этих площадей. Нобелевский лауреат Пол Самуэльсон доказал в 1942, что в двумерном случае эта прямая выражается исключительно в терминах отношений квадратических отклонений и корреляции коэффициентов, которые (1) удовлетворяют уравнению, если наблюдения находятся на прямой линии; (2) обнаруживают масштабную инвариантность, (3) обнаруживают инвариантность при обмене переменныхШаблон:Sfn. Эта прямая переоткрывалась в различных дисциплинах и известна как стандартизованная главная осьШаблон:SfnШаблон:Sfn, приведённая главная ось, функциональная зависимость средних геометрическихШаблон:Sfn, регрессия наименьших квадратов, диагональная регрессия и прямая наименьших площадей. ТофаллисШаблон:Sfn расширил этот подход для работы с несколькими переменными.

См. также

• Регрессия Деминга
• Шаблон:Не переведено 5
• Линейная регрессия
• Метод наименьших квадратов

Литература

• Шаблон:Книга
• Шаблон:Статья

• Шаблон:Книга
• Шаблон:Книга
• Шаблон:Книга
• Шаблон:Статья
• Шаблон:Книга Шаблон:Wayback
• Шаблон:Книга
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Книга
• Шаблон:Книга
• Шаблон:Статья
• Шаблон:Книга
• Шаблон:Книга

Дополнительная литература

• Шаблон:Статья
• Шаблон:Книга
• Шаблон:Книга
• Шаблон:Книга
• Шаблон:Книга
• Perpendicular Regression Of A Line at MathPages
• Шаблон:Статья

Шаблон:Навигационная таблица Шаблон:Rq