Просмотр кода страницы Метод наименьших полных квадратов

[[Файл:Total least squares.svg|right|thumb|200px| Двумерный  случай метода наименьших полных квадратов (регрессия Деминга). Красные отрезки показывают ошибку как по ''x'', так и по ''y'', что отличается от традиционного метода наименьших квадратов, в котором ошибка измеряется только по оси ''y''.]]

В прикладной статистике '''метод наименьших полных квадратов''' (МНПК, TLS — {{lang-en| Total Least Squares}}) — это вид {{не переведено 5|Регрессия с ошибками в переменных|регрессии с ошибками в переменных||errors-in-variables regression}},  техника моделирования данных с помощью [[Метод наименьших квадратов|метода наименьших квадратов]], в которой принимаются во внимание ошибки как в зависимых, так и в независимых переменных. Метод является обобщением [[Регрессия Деминга|регрессии Деминга]] и [[Регрессия Деминга|ортогональной регрессии]] и может быть применён как к линейным, так и нелинейным моделям. 

Аппроксимация данных методом наименьших полных квадратов в общем виде эквивалентна лучшей по [[Норма матрицы#Норма Фробениуса|норме Фробениуса]] {{не переведено 5|Малоранговая аппрокимация|малоранговой аппрокимации||low-rank approximation}} матрицы данных{{sfn|Markovsky, Van Huffel|2007|с=2283–2302, 2007}}.

== Линейная модель ==

===Основы===

В методе [[Метод наименьших квадратов|наименьших квадратов]] моделирования данных минимизируется [[функция потерь]] ''S'',
:<math>S=\mathbf{r^TWr},</math>
где ''r'' — вектор {{не переведено 5|Ошибки и отклонения|отклонений||errors and residuals}}, а ''W'' — весовая матрица. В [[Метод наименьших квадратов|линейном методе наименьших квадратов]] модель содержит уравнения, которые линейны от параметров в векторе <math>\boldsymbol\beta</math>, так что отклонения вычисляются по формуле
:<math>\mathbf{r=y-X\boldsymbol\beta}.</math>
Имеется ''m'' наблюдений в векторе '''y''' и  ''n'' параметров в '''β''' при ''m''>''n''. '''X''' является ''m''×''n'' матрицей, элементы которой либо константы, либо функции от независимых переменных '''x'''. Весовая матрица '''W''', в идеале, является обратной к [[Ковариационная матрица|дисперсионно-ковариационной матрице]] <math>\mathbf M_y</math> наблюдений '''y'''. Предполагается, что независимые переменные ошибок не имеют. Параметры оценки находятся путём приравнивания градиента нулю, что приводит к уравнению
<ref group="note">Альтернативная форма — <math>\mathbf{X^TWX\boldsymbol\Delta \boldsymbol\beta=X^T W \boldsymbol\Delta y}</math>, где <math>\boldsymbol\Delta \boldsymbol\beta</math> является сдвигом параметров от начальной оценки <math>\boldsymbol\beta</math>, а <math>\boldsymbol\Delta \mathbf y</math> — разница между '''y''' и значением, вычисленным по начальной оценке <math>\boldsymbol\beta</math></ref> 
:<math>\mathbf{X^TWX\boldsymbol\beta=X^T Wy}</math>

===Возможность ошибок наблюдений для всех переменных ===

Предположим теперь, что как '''x''', так и  '''y''' наблюдаются с ошибками с дисперсионно-ковариационными матрицами <math>\mathbf M_x</math> и <math>\mathbf M_y</math> соответственно. В этом случае функция потерь записывается как
:<math>S=\mathbf{r_x^TM_x^{-1}r_x+r_y^TM_y^{-1}r_y}</math>,
где <math>\mathbf r_x</math> и <math>\mathbf r_y</math> являются отклонениями для '''x''' и '''y''' соответственно. Ясно, что эти отклонения не могут быть независимыми и между ними должна быть какая-то связь. Если записать функцию как <math>\mathbf{f(r_x,r_y,\boldsymbol\beta)}</math>, ограничения выражаются ''m'' условиями{{sfn|Deming|1943}}.

:<math>\mathbf{F=\Delta y -\frac{\partial f}{\partial r_x} r_x-\frac{\partial f}{\partial r_y} r_y -X\Delta\boldsymbol\beta=0}</math>
Таким образом, задача сводится к минимизации функции потерь при ''m'' ограничениях. Задача решается с помощью [[Метод множителей Лагранжа|множителей Лагранжа]]. После некоторых алгебраических преобразований{{sfn|Gans|1992}} получим

:<math>\mathbf{X^TM^{-1}X\Delta \boldsymbol\beta=X^T M^{-1} \Delta y}, </math>

или, альтернативно, <math>\mathbf{X^TM^{-1}X \boldsymbol\beta=X^T M^{-1} y}</math>

Здесь '''M''' — дисперсионно-ковариационная матрица, относящаяся как к независимым, так и зависимым переменным.
:<math>\mathbf{M=K_xM_xK_x^T+K_yM_yK_y^T;\ K_x=-\frac{\partial f}{\partial r_x},\ K_y=-\frac{\partial f}{\partial r_y}}</math>

=== Пример ===

В случае, когда ошибки данных не коррелируют, все матрицы '''M''' и '''W''' диагональны. Тогда используем построение прямой по точкам.
:<math>f(x_i,\beta)=\alpha + \beta x_i\!</math>
И в этом случае
:<math>M_{ii}=\sigma^2_{y,i}+\beta^2 \sigma^2_{x,i}</math>
что показывает, как дисперсия в ''i''-ой точке определяется дисперсией независимых и зависимых переменных, а также моделью, используемой для согласования данных. Выражение можно обобщить, если заметить, что параметр <math>\beta</math> является наклоном прямой.
:<math>M_{ii}=\sigma^2_{y,i}+\left(\frac{dy}{dx}\right)^2_i \sigma^2_{x,i}</math>

Выражение такого вида используется для аппроксимации {{не переведено 5|Определение констант равновесия|данные титрования pH||Determination of equilibrium constants}}, когда малые ошибки в ''x'' дают большие ошибки y в случае большого наклона.

=== С алгебраической точки зрения ===
Прежде всего следует заметить, что задача МНПК в общем случае решения не имеет, что было показано ещё в 1980{{sfn|Golub, Van Loan|1980|с=883–893}}. Рассмотрим простой случай, где единственное решение существует без каких-либо предположений.

Вычисление МНПК с помощью [[Сингулярное разложение|сингулярного разложения]] описан в стандартных текстах{{sfn|Golub, Van Loan|1996|с=596}}. Мы можем решить уравнение 
:<math>XB \approx Y</math>
относительно  ''B'', где ''X'' —  матрица ''m''-на-''n'', а ''Y'' — матрица ''m''-на-''k''<ref group="note">Здесь используется выражение ''XB''&nbsp;≈&nbsp;''Y'', чтобы отразить употреблённые ранее выражения.  В литературе чаще используется выражение ''AX''&nbsp;≈&nbsp;''B'', т.е. с буквой ''X'' для обозначения ''n''-х-''k'' матрицы неизвестных регриссионных коэффициентов.</ref>

То есть мы пытаемся найти матрицу ''B'', минимизирующую  матрицы ошибок ''R'' и  ''F'' для ''X'' и ''Y'' соответственно. То есть
:<math>\mathrm{argmin}_{R,F} \| [R\; F] \|_F, \qquad (X+R) B = Y+F</math>,
где <math>[R\; F]</math> — [[расширенная матрица]] с ''R'' и ''F'' рядом и <math>\|\cdot\|_F</math> является [[Норма матрицы|нормой матрицы]], квадратным корнем из суммы квадратов всех элементов матриц, что эквивалентно квадратному корню из суммы квадратов длин строк или столбцов матрицы.

Это можно переписать как
:<math>[(X+R) \; (Y+F)] \begin{bmatrix} B\\ -E_k\end{bmatrix} = 0.</math>
Где <math>E_k</math> является <math>k\times k</math> единичной матрицей.
Целью является нахождение матрицы <math>[R\; F]</math>, которая уменьшает ранг <math>[X\; Y]</math> на ''k''. Определим <math>[U] [\Sigma] [V]*</math> как сингулярное разложение расширенной матрицы <math>[X\; Y]</math>.
:<math>[X\; Y] = [U_X\; U_Y] \begin{bmatrix}\Sigma_X &0 \\ 0 & \Sigma_Y\end{bmatrix}\begin{bmatrix}V_{XX} & V_{XY} \\ V_{YX} & V_{YY}\end{bmatrix}^* =  [U_X\; U_Y] \begin{bmatrix}\Sigma_X &0 \\ 0 & \Sigma_Y\end{bmatrix} \begin{bmatrix} V_{XX}^* & V_{YX}^* \\ V_{XY}^* & V_{YY}^*\end{bmatrix}</math>,
где ''V'' разбита на блоки, соответствующие формам матриц ''X'' и ''Y''. 

Если использовать [[Сингулярное разложение|теорему Экарта-Янга]], аппроксимация, минимизирующая норму ошибки, это такая аппроксимация, что матрицы <math>U</math> и <math>V</math> не меняются, в то время как <math>k</math> наименьших сингулярных значений заменяются нулями. То есть мы хотим
:<math>[(X+R)\; (Y+F)] = [U_X\; U_Y] \begin{bmatrix}\Sigma_X &0 \\ 0 & 0_{k\times k}\end{bmatrix}\begin{bmatrix}V_{XX} & V_{XY} \\ V_{YX} & V_{YY}\end{bmatrix}^*</math>
так что, ввиду линейности,
:<math>[R\; F] = -[U_X\; U_Y] \begin{bmatrix}0_{n\times n} &0 \\ 0 & \Sigma_Y\end{bmatrix}\begin{bmatrix}V_{XX} & V_{XY} \\ V_{YX} & V_{YY}\end{bmatrix}^*. </math>
Мы можем удалить блоки из матриц ''U'' и Σ, упростив выражение до
:<math>[R\; F] = -U_Y\Sigma_Y \begin{bmatrix}V_{XY}\\V_{YY}\end{bmatrix}^*= -[X\; Y] \begin{bmatrix}V_{XY}\\V_{YY}\end{bmatrix}\begin{bmatrix}V_{XY}\\ V_{YY}\end{bmatrix}^*.</math>
Это даёт ''R'' и ''F'', таки что 
:<math>[(X+R) \; (Y+F)] \begin{bmatrix}V_{XY}\\ V_{YY}\end{bmatrix} = 0.</math>
Теперь, если <math>V_{YY}</math> не вырождена, что не всегда верно (заметим, что поведение МНПК в случае вырожденности <math>V_{YY}</math> не вполне понятно), мы можем умножить справа обе части на <math>-V_{YY}^{-1}</math>, чтобы привести нижний блок правой матрицы к отрицательной единичной матрице, что даёт{{sfn|Bjõrck|1996}}
: <math>[(X+R) \; (Y+F)] \begin{bmatrix} -V_{XY} V_{YY}^{-1} \\ -V_{YY} V_{YY}^{-1}\end{bmatrix} = [(X+R) \; (Y+F)] \begin{bmatrix} B\\ -E_k\end{bmatrix} =  0 ,</math>
а тогда
:<math>B=-V_{XY} V_{YY}^{-1}.</math>

Имплементация в системе [[GNU Octave]]:

<source lang="matlab">
function B = tls(X,Y)

[m n]   = size(X);            % n является шириной матрицы X (X[m x n])
Z       = [X Y];              % Z является расширением X на Y.
[U S V] = svd(Z,0);           % находим [[Сингулярное разложение|SVD]] матрицы Z.
VXY     = V(1:n,1+n:end);     % Берём блок матрицы V, состоящий из первых n строк и n+1 последних столбцов
VYY     = V(1+n:end,1+n:end); % Берём нижний правы блок матрицы V.
B       = -VXY/VYY;

end
</source>

Метод решения задачи, описанный выше и требующий, чтобы матрица <math>V_{YY}</math> не была вырожденной, может быть слегка расширен так называемым ''классическим МНПК алгоритмом''{{sfn|Van Huffel, Vandewalle|1991}}.

=== Вычисление ===

Стандартная имплементация классического алгоритма МНПК доступна на [http://www.netlib.org/vanhuffel/index.html Netlib], см. также статьи{{sfn|Van Huffel|1988}}{{sfn|Van Huffel|1989|с=111–119}}. Все современные имплементации, базирующиеся, например, на использовании обычного метода наименьших квадратов, аппроксимируют матрицу <math>B</math> (которая в литературе обозначается как <math>X</math>), как это делают Ван Хуффель и Вандевалле. Стоит заметить, однако, что полученная матрица <math>B</math> во многих случаях ''не является решением МНПК''{{sfn|Plešinger|2008|с=748–770}}.

== Нелинейная модель ==
Для {{не переведено 5|нелинейный метод наименьших квадратов|нелинейных систем||non-linear least squares}} похожие рассуждения показывают, что нормальное уравнение для итерационного цикла может быть переписано как
:<math>\mathbf{J^TM^{-1}J\Delta \boldsymbol\beta=J^T M^{-1} \Delta y}. </math>

== Геометрическая интерпретация ==
{{Основная статья|Приближение с помощью кривых#Алгебраическое приближение и геометрическое приближение кривыми}}
{{Подробно|[[Регрессия Деминга]]}}
Если независимые переменные ошибок не имеют, отклонения представляют «вертикальное» расстояние между точкой данных и аппроксимирующей кривой (или поверхностью). В методе наименьших полных квадратов отклонения представляют расстояние между точкой данных и аппроксимирующей кривой, измеряемое в некотором направлении. Фактически, если обе переменные измеряются в одинаковых единицах и ошибки обоих переменных те же самые, то отклонение представляет [[Расстояние от точки до прямой на плоскости|кратчайшее расстояние от точки данных до аппроксимирующее кривой]], то есть вектор отклонения перпендикулярен касательной к кривой. По этой причине этот тип регрессии называют иногда ''двумерной евклидовой регрессией''{{sfn|Stein}} или ''ортогональной регрессией''.

=== Масштабно-инвариантные методы ===

Серьёзная трудность появляется, если переменные не измеряются в тех же самых единицах. Сначала рассмотрим измерение расстояния между точками данных и кривой — какова будет единица измерения для расстояния? Если мы будем измерять расстояние на основе теоремы Пифагора, ясно, что нам придётся складывать единицы, измеряемые в различных единицах, что приводит к бессмысленным результатам. Если мы заменим масштаб одной из переменных, например, будем измерять в граммах, а не килограммах, мы получим другие результаты (другую кривую). Чтобы избежать этой проблемы несоизмеримости, иногда предлагается переводить их в безразмерные величины — это можно назвать нормализацией или стандартизацией. Существуют, однако, различные пути сделать это, приводящие к неэквивалентным моделям. Один из подходов — нормализовать с помощью известной (или оценочной) точности измерения, минимизируя тем самым [[расстояние Махаланобиса]] до точек на линии и обеспечивая решение с [[Метод максимального правдоподобия|максимальным правдоподобием]]. Неизвестные точности измерения могут быть найдены с помощью [[Дисперсионный анализ|дисперсионного анализа]].

Кратко, метод наименьших полных квадратов не имеет свойства инвариантности по единицам измерения, т.е. он не является [[Масштабная инвариантность|масштабно инвариантным]]. Для полноценности модели мы требуем, чтобы это свойство выполнялось. Дальнейшее продвижение вперёд, это понимание, что отклонения (расстояния), измеряемые в других единицах, могут быть скомбинированы, если используется умножение, а не сложение. Рассмотрим аппроксимацию прямой, для каждой точки данных произведение горизонтального и вертикального отклонений равно удвоенной площади треугольника, образованного отрезками отклонений и аппроксимирующей прямой. Мы выбираем прямую, минимизирующую сумму этих площадей. Нобелевский лауреат [[Самуэльсон, Пол Энтони|Пол Самуэльсон]] доказал в 1942, что в двумерном случае эта прямая выражается исключительно в терминах отношений квадратических отклонений и корреляции коэффициентов, которые (1) удовлетворяют уравнению, если наблюдения находятся на прямой линии; (2) обнаруживают масштабную инвариантность, (3) обнаруживают инвариантность при обмене переменных{{sfn|Samuelson|1942|с=80–83}}. Эта прямая переоткрывалась в различных дисциплинах и известна как стандартизованная главная ось{{sfn|Ricker|1975|с=1494–1498}}{{sfn|Warton, Wright, Falster, Westoby|2006|с=259–291}}, приведённая главная ось, функциональная зависимость средних геометрических{{sfn|Draper, Smith|1998|с=92–96}}, регрессия наименьших квадратов, диагональная регрессия и прямая наименьших площадей. Тофаллис{{sfn|Tofallis|2002}} расширил этот подход для работы с несколькими переменными.

== См. также ==
* [[Регрессия Деминга]]
* {{не переведено 5|Модель с ошибками в переменных|||Errors-in-variables model}}
* [[Линейная регрессия]]
* [[Метод наименьших квадратов]]

==Примечания==
{{reflist|group=note}}
{{примечания|2}}

== Литература ==
{{refbegin|colwidth=30em}}
* {{книга
|автор=Van Huffel S., Vandewalle J.
|ref=Van Huffel, Vandewalle
|год=1991
|заглавие=The Total Least Squares Problems: Computational Aspects and Analysis
|издательство=SIAM Publications
|место=Philadelphia PA
|isbn=0-89871-271-0
|серия=Frontiers in applied mathematics
|том=9
}}
* {{статья
|автор=Golub G. H., Van Loan C. F.
|ref=Golub, Van Loan
|заглавие=An analysis of the total least squares problem
|издание=SIAM J. on Numer. Anal.
|том=17
|год=1980
|страницы=883—893
}}

*{{книга
|автор=Gene H. Golub, Charles F. Van Loan
|ref=Golub, Van Loan
|заглавие=Matrix Computations
|издание= 3rd
|издательство=[[The Johns Hopkins University Press]]
|год= 1996
}} 
* {{книга
|автор=Ake Bjõrck
|ref=Bjõrck
|год=1996
|заглавие=Numerical Methods for Least Squares Problems
|издательство=SIAM (Society for Industrial and Applied Mathematics)
|ISBN=978-0898713602
}}
* {{книга
|автор=Van Huffel S.
|ref=Van Huffel
|заглавие=Documented Fortran 77 programs of the extended classical total least squares algorithm, the partial singular value decomposition algorithm and the partial total least squares algorithm, Internal Report ESAT-KUL 88/1 ESAT Lab., Dept. of Electrical Engineering,
|издательство=Katholieke Universiteit Leuven
|год=1988
}}
*{{статья
|автор=Van Huffel S.
|ref=Van Huffel
|заглавие=The extended classical total least squares algorithm
|издание=J. Comput. Appl. Math.,
|=25
|страницы=111—119,
|год=1989
}}
*{{книга
 |автор               = Plešinger M.
|ref                      = Plešinger
|заглавие         = The Total Least Squares Problem and Reduction of Data in AX ≈ B. Doctoral Thesis
|издательство = TU of Liberec and Institute of Computer Science, AS CR Prague
|год                   = 2008
|серия               = Ph.D. Thesis
|ссылка             =https://web.archive.org/web/20120724080908/http://www.fp.tul.cz/~plesinger/my_publications/doctoral_thesis/thesis.pdf
|архив               = https://web.archive.org/web/20120724080908/http://www.fp.tul.cz/~plesinger/my_publications/doctoral_thesis/thesis.pdf
|архив дата      = 2012-07-24
}} {{Wayback|url=http://www.fp.tul.cz/~plesinger/my_publications/doctoral_thesis/thesis.pdf |date=20120724080908 }}
*{{книга
|автор=Hnětynková I., Plešinger M., Sima D. M., Strakoš Z., Van Huffel S.
|ref=Hnětynková, Plešinger, Sima, Strakoš, Van Huffel
|место=The total least squares problem in AX ≈ B. A new classification with the relationship to the classical works.
|издательство=SIMAX
|том= 32
|выпуск= 3
|год=2011
|страницы=748—770
|ссылка=ftp://ftp.sam.math.ethz.ch/pub/sam-reports/reports/reports2010/2010-38.pdf
}}
*{{статья
|заглавие=Two Dimensional Euclidean Regression
|автор= Yaakov J. Stein
|ref=Stein
|ссылка=http://www.dspcsp.com/pubs/euclreg.pdf
}}
*{{статья
|заглавие=A Note on Alternative Regressions
|ссылка=https://archive.org/details/sim_econometrica_1942-01_10_1/page/80
|автор= Paul A. Samuelson
|ref=Samuelson
|издание=Econometrica
|том=10
|выпуск=1
|год=1942
|страницы=80—83
|издательство=The Econometric Society
|doi=10.2307/1907024
|jstor=1907024
}}
*{{статья
|заглавие=A note concerning Professor Jolicoeur's Comments
|автор= Ricker W. E.
|ref=Ricker
|издание=Journal of the Fisheries Research Board of Canada
|год=1975
|том=32
|страницы=1494—1498
|doi=10.1139/f75-172
}}
*{{статья
|заглавие=Bivariate line-fitting methods for allometry
|ссылка=https://archive.org/details/sim_biological-reviews_2006-05_81_2/page/259
|автор= David I. Warton, Ian J. Wright, Daniel S. Falster, Mark Westoby
|ref=Warton, Wright, Falster, Westoby
|издание=Biological Reviews
|том=81
|выпуск=2
|год=2006
|страницы=259—291
|издательство=Wiley
| doi = 10.1017/S1464793106007007
}}
*{{книга
|автор=Draper N.R., Smith H.
|ref=Draper, Smith
|заглавие=Applied Regression Analysis
|издание=3rd edition
|страницы=92—96
|год=1998
|isbn=0-471-17982-8
|серия=Wiley series in probability and statistics
}}
*{{книга
|ответственный=Sabine Van Huffel, P. Lemmerling
|заглавие=Total Least Squares and Errors-in-Variables Modeling: Analysis, Algorithms and Applications
|год=2002
|издательство=Kluwer Academic Publ.
|место=Dordrecht [u.a.]
|isbn=978-1402004766
|ссылка=http://ssrn.com/abstract=1077322
|автор=Chris Tofallis
|ref=Tofallis
|часть=Model Fitting for Multiple Variables by Minimising the Geometric Mean Deviation
}}
*{{статья
|автор=Markovsky I., Van Huffel S.
|ref=Markovsky, Van Huffel
|заглавие=Overview of total least squares methods
|издание=Signal Processing
|том=87
|год=2007
|ссылка=http://eprints.ecs.soton.ac.uk/13855/1/tls_overview.pdf
}}
*{{книга
|автор=W.E. Deming
|ref=Deming
|заглавие=Statistical Adjustment of Data
|издательство=John Wiley & Sons
|место=New York
|год=1943
}}
*{{книга
|автор=Peter Gans
|ref=Gans
|заглавие=Data Fitting in the Chemical Sciences
|год=1992
|издательство=Wiley
|isbn=9780471934127
|ссылка=http://www.wiley.com/WileyCDA/WileyTitle/productCd-0471934127.html
|accessdate=2012-12-04
}}
{{refend}}

=== Дополнительная литература ===
*{{статья
|автор=Paige C. C., Strakoš Z.,
|заглавие=Core problems in linear algebraic systems
|издание=SIAM J. Matrix Anal. Appl
|том=27
|год=2006
|страницы=861—875
}}
* {{книга
|автор=Jo S., Kim S. W.
|ref=Jo, Kim
|заглавие=Consistent normalized least mean square filtering with noisy data matrix
|серия=IEEE Trans. Signal Processing
|том=53
|выпуск=6
|страницы=2112—2123
|месяц=Jun.
|год=2005
}}
* {{книга
|автор=DeGroat R. D., Dowling E. M.
|заглавие=The data least squares problem and channel equalization
|серия=IEEE Trans. Signal Processing
|том=41
|выпуск=1
|страницы=407—411
|месяц=Jan.
|год=1993
}}
* {{книга
|автор=Abatzoglou T., Mendel J.
|заглавие=Constrained total least squares
|серия=Proc. IEEE Int. Conf. Acoust., Speech, Signal Process. (ICASSP’87)
|месяц=Apr.
|год=1987
|том=12
|страницы=1485—1488
}}
* {{книга
|автор=de Groen P.
|заглавие=An introduction to total least squares
|серия=Nieuw Archief voor Wiskunde, Vierde serie, deel 14
|год=1996
|страницы=237—253
|ссылка=http://arxiv.org/pdf/math.RA/9805076/ arxiv.org
}}
* [http://www.mathpages.com/home/kmath110.htm Perpendicular Regression Of A Line] at MathPages
*{{статья
|автор=Amiri-Simkooei A. R., Jazaeri S.
|заглавие=Weighted total least squares formulated by standard least squares theory
|издание=Journal of Geodetic Science
|том=2 (2)
|страницы=113—124
|год=2012
|ссылка=http://engold.ui.ac.ir/~amiri/JGS_Amiri_Jazaeri_2012.pdf
}}

{{Метод наименьших квадратов и регрессионный анализ|state=collapsed}}

[[Категория:Прикладная математика]]
[[Категория:Метод наименьших квадратов]]
{{rq|checktranslate|style}}