Теорема Карунена — Лоэва

Шаблон:Грубый перевод Важным принципиальным вопросом теории дискретизации является вопрос об объёме дискретного описания сигналов, то есть о количестве $N$ базисных функций, используемых для представления:

$a(t)=\sum _{k=0}^{N-1}{\alpha }_k{\phi }_k(t)$.

Чтобы найти оптимальный базис, нужно определить класс сигналов, для которого он отыскивается, а также задать точность восстановления для этого класса. При статистическом подходе к описанию сигналов оптимальным $N$ — мерным базисом для представления отдельных реализаций сигналов обычно считается базис, при котором норма ошибки, усредненная по ансамблю реализаций, минимальна. В этом случае необходимые и достаточные условия минимума нормы ошибки представления сигнала в виде суммы базисных функций определяет теорема Карунена-Лоэва.

Популярная формулировка

Минимальное значение нормы ошибки представления сигналов на интервале протяженностью $T$ достигается при использовании в качестве базиса собственных функций оператора, ядром которого является корреляционная функция сигналов $R_a(t,\tau )$:

$\underset{-\frac{T}{2}}{\overset{\frac{T}{2}}{\int }}{R}_a(t,\tau ){\phi }_k(\tau )d\tau ={\lambda }_k{\phi }_k(t)$,

соответствующих $N$ наибольшим собственным значениям. При этом норма ошибки равна:

$\Vert ϵ{\Vert }_{min}^2=\Vert a(t)-\sum _{k=0}^{N-1}{\alpha }_k{\phi }_k(t){\Vert }_{min}^2=\sum _{k=N}^{\mathrm{\infty }}{\lambda }_k$.

Такое разложение является разложением Карунена-ЛоэваШаблон:SfnШаблон:Sfn.

Применение

В теории случайных процессов теорема Карунена-Лоэва (названа в честь Кари Карунена и Мишеля Лоэва) — представление случайного процесса в виде бесконечной линейной комбинации ортогональных функций, аналогичное представлению рядов Фурье — последовательному представлению функций на ограниченном интервале. В отличие от рядов Фурье, где коэффициенты являются действительными числами и базис представления состоит из синусоидальных функций (то есть, из функций синус и косинус с разными частотами), коэффициенты в теореме Карунена-Лоэва — случайные переменные, и базис представления зависит от процесса. Ортогональные базисные функции, использованные в этом представлении, определяет функция ковариации процесса. Если мы рассматриваем стохастический процесс как случайную функцию F, то есть процесс, в котором функция на интервале [a, b] принимает значение F, то эта теорема может рассматриваться как случайное ортонормальное разложение F.

Центрированный случайный процесс {X_t}_{t ∈ [a, b]} (где центрирование означает, что математические ожидания E(X_t) существуют и равны нулю для всех значений параметра t из [a, b]), удовлетворяющий техническому условию непрерывности, допускает разложение следующего вида:

${𝐗}_t=\sum _{k=1}^{\mathrm{\infty }}{𝐙}_k{e}_k(t).$

где Z_k — взаимнонекоррелированые случайные величины и функции e_k — непрерывные вещественные функции на [a, b], ортогональные в L² [a, b]. В случае нецентрированного процесса имеет место аналогичное разложение, получаемое разложением функции математического ожидания в базисе e_k.

Если процесс ${𝐗}_t$ гауссовский, то случайные величины Z_k — тоже гауссовские и являются независимыми. Этот результат обобщает преобразования Карунена-Лоэва. Важным примером центрированного случайного процесса на интервале [0,1] является винеровский процесс, и теорема Карунена-Лоэва может быть использована для получения канонического ортогонального представления. В этом случае разложение состоит из синусоидальных функций.

Приведенные выше разложения в также известны как разложения или декомпозиция Карунена-Лоэва (эмпирическая версия, то есть, с коэффициентами из исходных числовых данных), как анализ главных компонент, собственное ортогональное разложение или преобразование Хотеллинга.

Формулировка

Сформулируем результат в терминах комплекснозначных стохастических процессов. Результаты могут быть применены к вещественнозначным процессам без модификаций, вспоминая, что число, комплексно-сопряженное с действительным числом, совпадает с ним самим.

Для случайных элементов X и Y скалярное произведение определяется формулой

$⟨𝐗|𝐘⟩=\mathrm{E}({𝐗}^{\mathbf{*}}𝐘)$

где * обозначает операцию комплексного сопряжения.

Статистики второго порядка

Скалярное произведение корректно определено, если как $X$, так и $Y$ имеют конечные вторые моменты, или, что то же самое, если они оба квадратично интегрируемы. Отметим, что скалярное произведение связано с ковариацией и корреляцией. В частности, для случайных переменных со средним нулевым значением, ковариация и скалярное произведение совпадают. Функция автоковариации $K_{\mathrm{X}\mathrm{X}}$

$K_{\mathrm{X}\mathrm{X}}(t,s)=\mathrm{Cov}[X(t),X(s)]=⟨{𝐗}_t|{𝐗}_s⟩$

$=\mathrm{E}\{[X(t)-{\mu }_X(t){]}^{*}[X(s)-{\mu }_X(s)]\}$

$=\mathrm{E}\{X^{*}(t)X(s)\}-{\mu }_X^{*}(t){\mu }_X(s)$

$=R_{\mathrm{X}\mathrm{X}}(t,s)-{\mu }_X^{*}(t){\mu }_X(s).$

Если процесс {X_t}_t центрированный, то

${\mu }_X(t)=0$

для всех t. Таким образом, автоковариация K_XX равна автокорреляции R_XX:

$K_{\mathrm{X}\mathrm{X}}(t,s)=R_{\mathrm{X}\mathrm{X}}(t,s).$

Отметим, что если {X_t}_t центрированный и t₁, ≤ t₂, …, ≤ t_N являются точками на интервале [a, b], следовательно

$\sum _{k,\ell }{\mathrm{Cov}}_{𝐗}(t_k,t_{\ell })=\mathrm{Var}\left(\sum _{k=1}^N{𝐗}_k\right)\ge 0.$

Формулировка теоремы

Теорема. Рассмотрим центрированный случайный процесс $\{{𝐗}_t\}$, индексированный $t$ на интервале $[a,b]$ с ковариационной функцией ${\mathrm{C}\mathrm{o}\mathrm{v}}_{𝐗}$. Предположим, что ковариационная функция ${\mathrm{C}\mathrm{o}\mathrm{v}}_{𝐗}(t,s)$ непрерывна по совокупности переменных $t,s$. Тогда ${\mathrm{C}\mathrm{o}\mathrm{v}}_{𝐗}$ — положительно определенное ядро, и по теореме Мерсера интегральный оператор $T$ в $L^2[a,b]$ (близкой к мере Лебега на $[a,b]$) имеет ортонормированный базис из собственных векторов. Пусть $\{e_i\}$ являются собственными векторами $T$, соответствующими ненулевым собственным значениям и

${𝐙}_i=\underset{a}{\overset{b}{\int }}{𝐗}_t{e}_i(t)dt.$

Тогда $Z_i$ — центрированные ортогональные случайные величины и

${𝐗}_t=\sum _{i=1}^{\mathrm{\infty }}{e}_i(t){𝐙}_i$

ряд сходится в среднем квадратичном, а также равномерно по $t$. Кроме того

$\mathrm{Var}({𝐙}_i)=\mathrm{E}({𝐙}_i^2)={\lambda }_i.$

где ${\lambda }_i$ собственное значение, соответствующее собственному вектору $e_i$.

Суммы Коши

В формулировке теоремы интеграл в определении $Z_i$ можно понимать как предел в среднем сумм Коши случайных величин

$\sum _{k=0}^{\ell -1}{𝐗}_{{\xi }_k}{e}_i({\xi }_k)(t_{k+1}-t_k),$

где

$a=t_0\le {\xi }_0\le t_1\le \cdots \le {\xi }_{\ell -1}\le t_n=b$

Особый случай: гауссовское распределение

Так как предел в среднем квадратичном из совместно гауссовских случайных величин является гауссовским и совместно гауссовские случайные (центрированные) величины независимы тогда и только тогда, когда они являются ортогональными, мы можем также заключить:

Теорема. Случайные величины $Z_i$ имеют гауссовское распределение и являются независимыми, если первоначальный процесс {X_t}_t тоже является гауссовским.

В гауссовском случае, поскольку случайные величины $Z_i$ являются независимыми, мы можем быть уверены в том, что:

$\underset{N\to \mathrm{\infty }}{\lim }\sum _{i=1}^N{e}_i(t){𝐙}_i(\omega )={𝐗}_t(\omega )$

почти наверное.

Отметим, что обобщая теорему Мерсера, мы можем заменить интервал $[a,b]$ другими компактными пространствами $C$ , а меру Лебега на $[a,b]$ — борелевской мерой с носителем в $C$.

Винеровский процесс

Винеровский процесс в теории случайных процессов — это математическая модель броуновского движения или случайного блуждания с непрерывным временем. Здесь мы определяем его как центрированный гауссовский процесс B(t) с ковариационной функцией

${\mathrm{K}}_{\mathrm{B}\mathrm{B}}(t,s)=\mathrm{Cov}(B(t),B(s))=\min (s,t).$

Легко видеть, что собственные векторы ковариации равны

$e_k(t)=\sqrt{2}\sin (k-\frac{1}{2})\pi t$

а соответствующие собственные значения

${\lambda }_k=\frac{4}{(2k-1{)}^2{\pi }^2}.$

Это позволяет получить нам следующее представление винеровского процесса:

Теорема. Существует последовательность {W_i}_i независимых гауссовких случайных величин с нулевым средним и единичной дисперсией такая, что

${𝐁}_t=\sqrt{2}\sum _{k=1}^{\mathrm{\infty }}{𝐖}_k\frac{\sin (k-\frac{1}{2})\pi t}{(k-\frac{1}{2})\pi }.$

Сходимость является равномерной по t в норме L² так, что

$\mathrm{E}{({𝐁}_t-\sqrt{2}\sum _{k=1}^n{𝐖}_k\frac{\sin (k-\frac{1}{2})\pi t}{(k-\frac{1}{2})\pi })}^2\to 0$

равномерно по t.

Использование

Было высказано мнение, что в проекте SETI следует использовать преобразования Карунена-Лоэва для обнаружения сигналов с очень широким спектром. Аналогично, в системах адаптивной оптики иногда используют функции Карунена-Лоэва для восстановления информации о фазе фронта волны. (Dai 1996, JOSA A).

См. также

• Метод главных компонент
• Нейронная сеть Кохонена
• Шаблон:Нп1

Ссылки

• И. И. Гихман, А. В. Скороход, Введение в теорию случайных процессовШаблон:Недоступная ссылка.- М.: Наука, 1965.
• B. Simon, Functional Integration and Quantum Physics, Academic Press, 1979
• K. Karhunen, Kari, Uber lineare Methoden in der Wahrscheinlichkeitsrechnung, Ann. Acad. Sci. Fennicae. Ser. A. I. Math.-Phys., 1947, No. 37, 1-79
• М. Лоев, Теория вероятностей, — М.: ИЛ, 1962.
• G. Dai, Modal wave-front reconstruction with Zernike polynomials and Karhunen-Loeve functions, JOSA A, 13, 6, 1996

Литература

• Шаблон:Книга
• Шаблон:Книга