Сглаживающий сплайн

Сглаживающий сплайн (Шаблон:Lang-en) — оценка функции $\hat{f}(x)$, полученная из набора зашумлённых наблюдений $y_i$ за исходными данными $f(x_i)$ и используемая в дальнейших вычислениях для балансировки адекватности модели функции $\hat{f}(x_i)$ к $y_i$ с основанной на производной мере кривизной функции $\hat{f}(x)$. Иными словами, сглаживающий сплайн является важным средством при работе с зашумленными данными типа $x_i$, $y_i$. Наиболее известным видом сглаживающего сплайна является кубический сплайн.

Определение кубического сплайна

Пусть $(x_i,Y_i);x_1<x_2<\dots <x_n,i\in \mathbb{Z}$ — последовательность наблюдений, порождённых выражением $Y_i=\mu (x_i)$. Приближение сглаживающими сплайнами $\hat{\mu }$ функции $\mu$ определяется как функция (в классе дважды дифференцируемых функций), минимизирующая

$\sum _{i=1}^n(Y_i-\hat{\mu }(x_i){)}^2+\lambda \underset{x_1}{\overset{x_n}{\int }}{\hat{\mu }}^{″}(x{)}^{2}dx.$

Замечания:

1. $\lambda \ge 0$ параметр сглаживания, контролирующий соотношение между точностью воспроизведения данных и «неровностью» аппроксимирующей функции.
2. интеграл вычисляется по всему диапазону $x_i$.
3. при $\lambda \to 0$ (нет сглаживания), сглаживающий сплайн превращается в интерполяционный сплайн.
4. при $\lambda \to \mathrm{\infty }$ (бесконечное сглаживание), штраф за неровность становится преобладающим и аппроксимация превращается в линейную МНК аппроксимацию.
5. наиболее часто в современной статистической литературе используется штраф за неровность на основе второй производной, однако метод может быть легко адаптирован к использованию штрафов на основе других производных.
6. в ранней литературе, с равноудалёнными $x_i$, для вычисления штрафа вместо производной использовались конечные разности второго и третьего порядка.
7. если сумму квадратов отклонений сплайна от исходных данных (первый член функционала) заменить на логарифм функции правдоподобия, получим оценку максимального правдоподобия со штрафной функцией. В такой постановке обычный сглаживающий сплайн представляет собой специальный случай, когда правдоподобие рассчитывается исходя из нормального распределения погрешности.

Вывод кубического сглаживающего сплайна

Шаблон:Стиль раздела Разделим нахождение выражений, описывающих сглаживающий сплайн, на два этапа:

1. Сначала найдём значения $\hat{\mu }(x_i);i=1,\dots ,n$.
2. Из этих значений найдём $\hat{\mu }(x)$ для всех x.

Начнём со второго этапа:

Дан вектор $\hat{m}=(\hat{\mu }(x_1),\dots ,\hat{\mu }(x_n){)}^T$ «подогнанных» значений; сумма квадратов в критерии сплайна — константа. Требуется только минимизировать $\int {\hat{\mu }}^{″}(x{)}^{2}dx$, и минимизация — натуральный кубический сплайн, интерполирующий точки $(x_i,\hat{\mu }(x_i))$. Данный интерполяционный сплайн — линейный оператор — может быть представлен в виде:

$\hat{\mu }(x)=\sum _{i=1}^n\hat{\mu }(x_i)f_i(x)$,

где $f_i(x)$ — набор базисных сплайн-функций. В результате штраф за отсутствие у функции признака гладкости имеет форму

$\int {\hat{\mu }}^{″}(x{)}^{2}dx={\hat{m}}^{T}A\hat{m}$,

где элементы A — $\int {f_i}^{″}(x){f_j}^{″}(x)dx$. Базисные функции и матрица A зависят от конфигурации независимых переменных $x_i$, но не от $Y_i$ или $\hat{m}$.

Возвращаясь к первому этапу, взвешенная сумма квадратов может быть записана так:

$\Vert Y-\hat{m}{\Vert }^2+\lambda {\hat{m}}^{T}A\hat{m},$

где $Y=(Y_1,\dots ,Y_n{)}^T$. минимизация по $\hat{m}$ даёт

$\hat{m}=(I+\lambda A{)}^{-1}Y.$

Создание многомерных сплайнов

Из приведённого ограничения на формулу из определения $x_1<x_2<\dots <x_n$ следует, что алгоритм не работает для произвольного набора данных. Если планируется использование алгоритма для произвольного набора точек в многомерном пространстве необходим алгоритм, в котором нет таких ограничений. Возможное решение заключается во введении параметра таким образом, что входные данные могут быть представлены как одномерные функции, зависящие от данного параметра; после можно применить сглаживание для каждой функции. В двумерном пространстве решение состоит в параметризации $x$ и $y$ как $x(t)$ and $y(t)$ где $t_1<t_2<\dots <t_n$. Подходящее решение для $t$ это накопленное расстояние $t_{i+1}=t_i+\sqrt{(x_{i+1}-x_i{)}^2+(y_{i+1}-y_i{)}^2}$ где $t_1=0$.

Более детальный анализ параметризации выполнен E.T.Y Lee.

Связанные методы

Сглаживающие сплайны имеют отношение, но отличаются от:

• Регрессионных сплайнов (Шаблон:Lang-en). Метод, при использовании которого данные аппроксимируются с помощью набора базисных сплайн-функций с уменьшенным количеством узлов, в большинстве случаев при помощи метода наименьших квадратов. При этом в случае отсутствия у функции признака гладкости штрафы не используются.
• Штрафных сплайнов, сплайнов со штрафами (Шаблон:Lang-en). Сочетают уменьшенное количество узлов регрессионных сплайнов со штрафом за отсутствие у функций сглаживающих сплайнов признака гладкости.
• Метод упругой карты. Метод, сочетающий штрафы по методу наименьших квадратов для ошибки аппроксимации со штрафами за кривизну и растяжение аппроксимирующего множества и использующий крупный шаг дискретизации для оптимизации проблемы.

Исходный код

Исходный код для сглаживающих сплайнов может быть взят из примеров к книге Carl de Boor’s A Practical Guide to Splines. Примеры написаны на Фортране. Обновлённые исходные коды также доступны на официальном сайте Carl de Boor’s [1].

Литература

• Wahba, G. (1990). Spline Models for Observational Data. SIAM, Philadelphia.
• Green, P. J. and Silverman, B. W. (1994). Nonparametric Regression and Generalized Linear Models. CRC Press.
• De Boor, C. (2001). A Practical Guide to Splines (Revised Edition). Springer.
• Березовский, М. В. Сглаживающие изогеометрические и робастные сплайны: методы и алгоритмы. Диссертация.