Отношение Рэлея

В математике для данной комплексной эрмитовой матрицы $M$ и ненулевого вектора $x$ отношение Рэлея $R(M,x)$ определяется следующим образом:

$R(M,x)=\frac{x^{\ast }Mx}{x^{\ast }x}.$

Для действительных матриц условие эрмитовости матрицы сводится к её симметричности, а эрмитово сопряжение векторов $x^{\ast }$ превращается в обычное транспонирование $x^{\prime }$. Заметьте, что $R(M,cx)=R(M,x)$ для любой вещественной константы $c\ne 0$. Напомним, что эрмитова (как и симметричная вещественная) матрица имеет вещественные собственные значения. Можно показать, что для матрицы отношение Рэлея достигает минимального значения ${\lambda }_{min}$ (наименьшее собственное число матрицы $M$) когда $x$ равен $v_{min}$ (соответствующий собственный вектор). Подобным образом можно показать, что $R(M,x)\le {\lambda }_{max}$ и $R(M,v_{max})={\lambda }_{max}$. Отношение Рэлея используется в теореме Куранта-Фишера о минимаксе для получения всех значений собственных чиселШаблон:Sfn. Используется оно и в алгоритмах нахождения собственных значений матрицы для получения приближения собственного значения из приближения собственного вектора. А именно, отношение является базой для Шаблон:Не переведено 5Шаблон:SfnШаблон:Sfn.

Множество значений отношения Рэлея называется Шаблон:Не переведено 5Шаблон:SfnШаблон:Sfn.

Специальный случай ковариационных матриц

Ковариационная матрица M для многомерной статистической выборки A (матрицы наблюдений) может быть представлена в виде произведения A' AШаблон:SfnШаблон:Sfn. Будучи симметричной вещественной матрицей, M имеет неотрицательные собственные значения и ортогональные (или приводимые к ортогональным) собственные вектора.

Во-первых, то, что собственные значения ${\lambda }_i$ не отрицательны:

$M{v}_i=A^{\prime }A{v}_i={\lambda }_i{v}_i$

$\Rightarrow {v_i}^{\prime }{A}^{\prime }A{v}_i={v_i}^{\prime }{\lambda }_i{v}_i$

$\Rightarrow {\Vert A{v}_i\Vert }^2={\lambda }_i{\Vert v_i\Vert }^2$

$\Rightarrow {\lambda }_i=\frac{{\Vert A{v}_i\Vert }^2}{{\Vert v_i\Vert }^2}\ge 0.$

И, во-вторых, что собственные вектора $v_i$ ортогональны друг другу:

$M{v}_i={\lambda }_i{v}_i$

$\Rightarrow {v_j}^{\prime }M{v}_i={\lambda }_i{v_j}^{\prime }{v}_i$

$\Rightarrow (M{v}_j{)}^{\prime }{v}_i={\lambda }_i{v_j}^{\prime }{v}_i$

$\Rightarrow {\lambda }_j{v_j}^{\prime }{v}_i={\lambda }_i{v_j}^{\prime }{v}_i$

$\Rightarrow ({\lambda }_j-{\lambda }_i){v_j}^{\prime }{v}_i=0$

$\Rightarrow {v_j}^{\prime }{v}_i=0$ (если собственные значения различны — в случае одинаковых значений можно найти ортогональный базис).

Теперь покажем, что отношение Рэлея принимает максимальное значение на векторе, соответствующем наибольшее собственное значение. Разложим произвольный вектор $x$ по базису собственных нормированных векторов v_i:

$x=\sum _{i=1}^n{\alpha }_i{v}_i$, где ${\alpha }_i=\frac{x^{\prime }{v}_i}{{v_i}^{\prime }{v}_i}=\frac{⟨x,v_i⟩}{{\Vert v_i\Vert }^2}$ является проекцией x на $v_i$

$\mathrm{\forall }i,||v_i||=\sqrt{({v_i}^{\prime }{v}_i)}=1$

Таким образом, равенство

$R(M,x)=\frac{x^{\prime }{A}^{\prime }Ax}{x^{\prime }x}$

можно переписать в следующем виде:

$R(M,x)=\frac{(\sum _{j=1}^n{\alpha }_j{v}_j{)}^{\prime }{A}^{\prime }A(\sum _{i=1}^n{\alpha }_i{v}_i)}{(\sum _{j=1}^n{\alpha }_j{v}_j{)}^{\prime }(\sum _{i=1}^n{\alpha }_i{v}_i)}$

Поскольку собственные вектора ортогональны, последнее равенство превращается в

$R(M,x)=\frac{\sum _{i=1}^n{\alpha }_i^2{\lambda }_i}{\sum _{i=1}^n{\alpha }_i^2}=\sum _{i=1}^n{\lambda }_i\frac{(x^{\prime }{v}_i{)}^2}{(x^{\prime }x)}=\sum _{i=1}^n{\lambda }_i\frac{(x^{\prime }{v}_i{)}^2}{(x^{\prime }x)({v_i}^{\prime }{v}_i)}$

Последнее равенство показывает, что отношение Рэлея является суммой квадратов косинусов углов между вектором $x$ и каждым из собственных векторов $v_i$, умноженных на соответствующее собственное значение.

Если вектор $x$ максимизирует $R(M,x)$, то все вектора, полученные из $x$ умножением на скаляр ($kx$ для $k\ne 0$) также максимизируют R. Таким образом, задачу можно свести к нахождению максимума $\sum _{i=1}^n{\alpha }_i^2{\lambda }_i$ при условии $\sum _{i=1}^n{\alpha }_i^2=1$.

Поскольку все собственные числа не отрицательны, задача сводится к нахождению максимума выпуклой функции и можно показать, что он достигается при ${\alpha }_1=1$ и $\mathrm{\forall }i>1,{\alpha }_i=0$ (собственные значения упорядочены по убыванию).

Таким образом, отношение Рэлея достигает максимума на собственном векторе, соответствующему максимальному собственному значению.

Тот же результат с использованием множителей Лагранжа

Тот же результат может быть получен с помощью множителей Лагранжа. Задача состоит в нахождении критических точек функции

$R(M,x)=x^{T}Mx$,

при постоянной величине $\Vert x{\Vert }^2=x^{T}x=1.$ То есть, нужно найти критические точки функции

$ℒ(x)=x^{T}Mx-\lambda (x^{T}x-1),$

где $\lambda$ — множитель Лагранжа. Для стационарных точек функции $ℒ(x)$ выполняется равенство

$\frac{dℒ(x)}{dx}=0$

$\therefore 2x^T{M}^T-2\lambda x^T=0$

$\therefore Mx=\lambda x$

и $R(M,x)=\frac{x^{T}Mx}{x^{T}x}=\lambda \frac{x^{T}x}{x^{T}x}=\lambda .$

Таким образом, собственные вектора $x_1\dots x_n$ матрицы M являются критическими точками отношения Рэлея и их собственные значения ${\lambda }_1\dots {\lambda }_n$ — соответствующими стационарными значениями.

Это свойство является базисом метода главных компонент и канонической корреляции.

Использование в теории Штурма — Лиувилля

Теория Штурма — Лиувилля заключается в исследовании линейного оператора

$L(y)=\frac{1}{w(x)}(-\frac{d}{dx}[p(x)\frac{dy}{dx}]+q(x)y)$

со скалярным произведением

$⟨y_1,y_2⟩={\int }_a^{b}w(x)y_1(x)y_2(x)dx$,

где функции удовлетворяют некоторым специфичным граничным условиям в точках a и b. Отношение Рэлея здесь принимает вид

$\frac{⟨y,Ly⟩}{⟨y,y⟩}=\frac{{\int }_a^{b}y(x)(-\frac{d}{dx}[p(x)\frac{dy}{dx}]+q(x)y(x))dx}{{\int }_a^{b}w(x)y(x{)}^{2}dx}.$

Иногда это отношение представляют в эквивалентном виде используя интегрирование по частямШаблон:Sfn:

$\frac{⟨y,Ly⟩}{⟨y,y⟩}=\frac{{\int }_a^{b}y(x)(-\frac{d}{dx}[p(x)y^{\prime }(x)])dx+{\int }_a^{b}q(x)y(x{)}^{2}dx}{{\int }_a^{b}w(x)y(x{)}^{2}dx}$

$=\frac{-y(x)[p(x)y^{\prime }(x)]{|}_a^b+{\int }_a^b{y}^{\prime }(x)[p(x)y^{\prime }(x)]dx+{\int }_a^{b}q(x)y(x{)}^{2}dx}{{\int }_a^{b}w(x)y(x{)}^{2}dx}$

$=\frac{-p(x)y(x)y^{\prime }(x){|}_a^b+{\int }_a^b[p(x)y^{\prime }(x{)}^2+q(x)y(x{)}^2]dx}{{\int }_a^{b}w(x)y(x{)}^{2}dx}.$

Обобщение

Для любой пары $(A,B)$ вещественных симметричных положительно определённых матриц и ненулевого вектора $x$, обобщенное отношение Рэлея определяется как

$R(A,B;x):=\frac{x^{T}Ax}{x^{T}Bx}.$

Обобщённое отношение Рэлея можно свести к отношению Рэлея $R(D,Cx)$ путём преобразования $D={C^{\ast }}^{-1}A{C}^{-1}$, где $C$ — разложение Холецкого матрицы $B$.

См. также

• Шаблон:Iw

Литература

• Шаблон:Книга
• Шаблон:Книга
• Шаблон:Книга
• Шаблон:Книга
• Шаблон:Книга
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Книга

Шаблон:Rq