Псевдообратная матрица

Псевдообра́тная ма́трица — обобщение понятия обратной матрицы в линейной алгебре. Псевдообратная матрица к матрице $A$ обозначается $A^{+}$.

Впервые концепцию псевдообратных интегрирующих операторов в 1903 году представил Фредгольм. Наиболее известно псевдообращение Мура — Пенроуза, которое было независимо описано Элиакимом МуромШаблон:Ref в 1920 году и Роджером ПенроузомШаблон:Ref в 1955 году; утверждение о существовании и единственности для любой матрицы над действительными и комплексными числами псевдообратной матрицы носит название теоремы Мура — Пенроуза.

Шаблон:Нп2 — псевдообращение, удовлетворяющее более строгим условиям. Псевдообращение можно понимать как решение задачи наилучшей аппроксимации (по методу наименьших квадратов с предельным вариантом регуляризации) для соответствующей системы линейных уравненийШаблон:Переход. Псевдообратная матрица может быть вычислена с помощью сингулярного разложения матрицы.

Определение

$A^{+}$ называется псевдообратной матрицей для матрицы $A$, если она удовлетворяет следующим критериям:

1. $A{A}^{+}A=A$;
2. $A^{+}A{A}^{+}=A^{+}$ ($A^{+}$ является слабым обращением в мультипликативной полугруппе);
3. $(A{A}^{+}{)}^{*}=A{A}^{+}$ (это означает, что $A{A}^{+}$ — эрмитова матрица);
4. $(A^{+}A{)}^{*}=A^{+}A$ ($A^{+}A$ — тоже эрмитова матрица).

Здесь $M^{*}$ — эрмитово сопряжённая матрица M (для матриц над полем действительных чисел $M^{*}=M^T$).

Существует эквивалентный способ задания псевдообратной матрицы через предел обратных (регуляризация Тихонова):

$A^{+}=\underset{\delta \to +0}{\lim }(A^{*}A+\delta I{)}^{-1}{A}^{*}=\underset{\delta \to +0}{\lim }{A}^{*}(A{A}^{*}+\delta I{)}^{-1}$,

где $I$ — единичная матрица. Этот предел существует, даже если $(A{A}^{*}{)}^{-1}$ и $(A^{*}A{)}^{-1}$ не определены.

Свойства

• Псевдообращение инволютивно (то есть эта операция обратна самой себе):

  $(A^{+}{)}^{+}=A$.

• Псевдообращение коммутирует с транспонированием, сопряжением и эрмитовым сопряжением:

  $(A^T{)}^{+}=(A^{+}{)}^T$,
  $(\bar{A}{)}^{+}=\overline{A^{+}}$,
  $(A^{*}{)}^{+}=(A^{+}{)}^{*}$.

• Псевдообратное произведение матрицы $A$ на скаляр $\alpha$ равно соответствующему произведению матрицы $A^{+}$ на обратное число ${\alpha }^{-1}$:

  $(\alpha A{)}^{+}={\alpha }^{-1}{A}^{+}$, для $\alpha \ne 0$.

• Если псевдообратная матрица для $A^{*}A$ уже известна, она может быть использована для вычисления $A^{+}$:

  $A^{+}=(A^{*}A{)}^{+}{A}^{*}$.

• Аналогично, если матрица $(A{A}^{*}{)}^{+}$ уже известна:

  $A^{+}=A^{*}(A{A}^{*}{)}^{+}$.

Особые случаи

Если столбцы матрицы $A$ линейно независимы, тогда матрица $A^{*}A$ обратима. В таком случае псевдообратная матрица задаётся формулой:

$A^{+}=(A^{*}A{)}^{-1}{A}^{*}$.

Это эквивалентно тому, что в первой части определения через предел убирается слагаемое с $\delta$. Отсюда следует что в этом случае $A^{+}$ — левая обратная матрица для $A$ : $A^{+}A=I$ .

Если строки матрицы $A$ линейно независимы, тогда матрица $A{A}^{*}$ обратима. В таком случае псевдообратная матрица задаётся формулой:

$A^{+}=A^{*}(A{A}^{*}{)}^{-1}$.

Это эквивалентно тому, что во второй части определения через предел полагаем $\delta =0$. Отсюда следует, что в этом случае $A^{+}$ — правая обратная матрица для $A$ : $A{A}^{+}=I$.

Если и столбцы, и строки линейно независимы (что верно для квадратных невырожденных матриц), то псевдообращение совпадает с обращением:

$A^{+}=A^{-1}$.

Если $A$ и $B$ таковы, что произведение $AB$ определено и:

• либо $A^{*}A=I$,
• либо $B{B}^{*}=I$,
• либо столбцы $A$ линейно независимы и строки $B$ линейно независимы,

тогда

$(AB{)}^{+}=B^{+}{A}^{+}$.

Псевдообращение можно применять и к скалярам, и к векторам. Это подразумевает, что они рассматриваются как матрицы соответствующей размерности. Псевдообратный к скаляру $x$ — ноль, если $x$ — ноль, и обратный к $x$ в противном случае:

$x^{+}=\{\begin{array}{cc}0,& x=0;\\ x^{-1},& x\ne 0.\end{array}$

Псевдообратный для нулевого вектора — транспонированый нулевой вектор. Псевдообратный для ненулевого вектора — сопряжённый транспонированный вектор, делённый на квадрат своей длины:

$x^{+}=\{\begin{array}{cc}{0}^T,& x=0;\\ \frac{x^{*}}{x^{*}x},& x\ne 0.\end{array}$

Для доказательства достаточно проверить, что эти величины удовлетворяют определению псевдообратных.

Происхождение

Если $(A^{*}A{)}^{-1}$ существует, то из равенства:

$Ax=b,$

следует

$A^{*}Ax=A^{*}b,$

$(A^{*}A{)}^{-1}(A^{*}A)x=(A^{*}A{)}^{-1}{A}^{*}b,$

$x=(A^{*}A{)}^{-1}{A}^{*}b,$

что порождает понятие псевдообращения

$A^{+}=(A^{*}A{)}^{-1}{A}^{*}$ .

Вычисление

Пусть $k$ — ранг матрицы $A$ размера $m\times n$. Тогда $A$ может быть представлена как $A=BC$, где B — матрица размера $m\times k$ с линейно независимыми столбцами и $C$ — матрица размера $k\times n$ с линейно независимыми строками. Тогда:

$A^{+}=C^{*}(C{C}^{*}{)}^{-1}(B^{*}B{)}^{-1}{B}^{*}$.

Если $A$ имеет полнострочный ранг, то есть $k=m$, тогда в качестве $B$ может быть выбрана единичная матрица и формула сокращается до $A^{+}=A^{*}(A{A}^{*}{)}^{-1}$. Аналогично, если $A$ имеет полностолбцовый ранг, то есть, $k=n$, то $A^{+}=(A^{*}A{)}^{-1}{A}^{*}$.

Простейший вычислительный путь получения псевдообратной матрицы — использовать сингулярное разложение.

Если $A=U\mathrm{\Sigma }{V}^{*}$ — сингулярное разложение $A$, тогда $A^{+}=V{\mathrm{\Sigma }}^{+}{U}^{*}$. Для диагональной матрицы, такой как $\mathrm{\Sigma }$, псевдообратная получается из неё заменой каждого ненулевого элемента на диагонали на обратный к нему.

Существуют оптимизированые подходы вычисления псевдообратной для блочных матриц.

Иногда объём расчётов по нахождению псевдообратной матрицы можно сократить, если известна псевдообратная для некоторой аналогичной матрицы. В частности, если аналогичная матрица отличается от начальной на один изменённый, добавленный или удалённый столбец или строку — существуют накопительные алгоритмы, которые могут использовать взаимосвязь между матрицами.

Применение

Псевдообращение тесно связано с методом наименьших квадратов (МНК) для системы линейных уравненийШаблон:Ref.

В этом методе задача решения данной системы $Ax=b$ заменяется задачей минимизации квадрата евклидовой нормы невязки $\Vert Ax-b{\Vert }^2$. На практике МНК обычно используют когда исходная система $Ax=b$ несовместна, однако ниже мы рассмотрим случай когда эта система совместна.

Общее решение неоднородной системы $Ax=b$ представимо как сумма частного решения неоднородной системы и общего решения соответствующей однородной системы $Ax=0$.

Лемма: Если $(A{A}^{*}{)}^{-1}$ существует, тогда общее решение $x$ всегда представимо как сумма псевдообратного решения неоднородной системы и решения однородной системы:

$x=A^{*}(A{A}^{*}{)}^{-1}b+(I-A^{*}(A{A}^{*}{)}^{-1}A)y.$

Доказательство:

$Ax$	$=$	$A{A}^{*}(A{A}^{*}{)}^{-1}$	$b$	$+$	$Ay-A{A}^{*}(A{A}^{*}{)}^{-1}Ay$
$Ax$	$=$		$b$	$+$	$Ay-Ay$
$Ax$	$=$		$b$	.

Здесь вектор $y$ произвольный (с точностью до размерности). В двух других членах есть псевдообратная матрица $A^{*}(A{A}^{*}{)}^{-1}$. Переписав её в форме $A^{+}$, приведём выражение к форме:

$x=A^{+}b+(I-A^{+}A)y.$

Первый член — псевдообратное решение. В терминах метода наименьших квадратов — это $x$, дающее минимальную евклидову норму для невязки. Следующий член даёт решение однородной системы $Ax=0$, потому что $A^{+}A=A^{*}(A{A}^{*}{)}^{-1}A$ — оператор проектирования на образ оператора $A^{*}$ и, соответственно, $(I-A^{+}A)$ — оператор проектирования на ядро оператора $A$.

Литература

1. Шаблон:Note Э. Х. Мур (E. H. Moore): On the reciprocal of the general algebraic matrix. Bulletin of the American Mathematical Society 26, 394—395 (1920) http://www.ams.org/bull/1920-26-09/S0002-9904-1920-03322-7/S0002-9904-1920-03322-7.pdf
2. Шаблон:Note Роджер Пенроуз: A generalized inverse for matrices. Proceedings of the Cambridge Philosophical Society 51, 406—413 (1955)
3. Шаблон:Note Роджер Пенроуз: On best approximate solution of linear matrix equations. Proceedings of the Cambridge Philosophical Society 52, 17-19 (1956)
4. Шаблон:Note Алберт А.: Регрессия, псевдоинверсия и рекуррентное оценивание. перев. с англ. Москва, «Наука», 224 с.(1977)
5. Шаблон:Note Беклемишев Д. В.: Дополнительные главы линейной алгебры. Москва, Наука. (1983)