Радиально-базисная функция

Радиальная базисная функция (РБФ) — функция из набора однотипных радиальных функций, используемых как функция активации в одном слое искусственной нейронной сети или как-либо ещё, в зависимости от контекста. Шаблон:Iw — это любая вещественная функция, значение которой зависит только от расстояния до начала координат $\varphi \left(𝐱\right)=\varphi \left(\Vert 𝐱\Vert \right)$ или от расстояния между некоторой другой точкой $𝐜$, называемой центром: $\varphi (𝐱,𝐜)=\varphi \left(\Vert 𝐱-𝐜\Vert \right)$. В качестве нормы обычно выступает евклидово расстояние, хотя можно использовать и другие метрики.

Линейные комбинации радиальных базисных функций также можно использовать для аппроксимации заданной функции. Аппроксимация может быть интерпретирована как простейшая разновидность нейронной сети; именно в этом контексте радиальные базисные функции были впервые определены в работе Дэвида Брумхэда и Дэвид Лоу в 1988 году, основанной на фундаментальной работе Майкла Пауэлла 1977 года.

Радиальные базисные функции также используются в качестве ядра в методе опорных векторов.

Виды

Часто используемые радиально-базисные функций включают в себя ($r=\Vert 𝐱-{𝐱}_i\Vert$):

• Функция Гаусса:

  $\varphi \left(r\right)=e^{-{\left(\epsilon r\right)}^2}$

• Мультиквадратичная:

  $\varphi \left(r\right)=\sqrt{1+{\left(\epsilon r\right)}^2}$

• Обратная квадратичная:

  $\varphi \left(r\right)=\frac{1}{1+{\left(\epsilon r\right)}^2}$

• Обратная мультиквадратичная:

  $\varphi \left(r\right)=\frac{1}{\sqrt{1+{\left(\epsilon r\right)}^2}}$

• Полигармонический сплайн:

  $\begin{array}{cccc}\varphi \left(r\right)& =r^k,& k& =1,3,5,\dots \\ \varphi \left(r\right)& =r^k\ln \left(r\right),& k& =2,4,6,\dots \end{array}$

• Тонкий сплайн пластины (специальный полигармонический сплайн):

  $\varphi \left(r\right)=r^2\ln \left(r\right)$

Приближение

Две ненормализованных гауссовых радиальных базисных функций одной переменной, c центрами в точках $x_1=0,75$ и $x_2=3,25$ соответственно.

Для аппроксимации функций с помощью радиальных базисных функций обычно берётся их линейная комбинация вида:

$y\left(𝐱\right)=\sum _{i=1}^N{w}_i\varphi \left(\Vert 𝐱-{𝐱}_i\Vert \right)$,

где в качестве аппроксимирующей функции $y\left(𝐱\right)$ берётся сумма $N$ радиальных базисных функций с центрами в точках ${𝐱}_i$ и коэффициентами $w_i$. Коэффициенты можно вычислить с помощью метода наименьших квадратов, поскольку аппроксимирующая функция является линейной по отношению к коэффициентам $w_i$.

Аппроксимационные схемы такого рода особенно полезныШаблон:Нет АИ в прогнозировании временных рядов, управлении нелинейных систем, демонстрирующих достаточно простое хаотическое поведение, и 3D-моделировании в компьютерной графике.

Нейронные сети на основе РБФ

Шаблон:Основная статья Линейная комбинация:

$y\left(𝐱\right)=\sum _{i=1}^N{w}_i\varphi \left(\Vert 𝐱-{𝐱}_i\Vert \right)$

также может быть интерпретирована как простейшая искусственная нейронная сеть с одним слоем, называемая сетью радиально-базисных функций, в которой радиальная базисная функция исполняет роль функции активации. Можно показать, что любая непрерывная функция на компактном интервале в принципе может быть интерполирована с произвольной точностью при достаточно большом $N$.

Аппроксимации $y\left(𝐱\right)$ является дифференцируемой по $w_i$. Коэффициенты можно вычислить при помощи любого стандартного итерационного метода для нейронных сетей.

Таким образом, радиальные базисные функции предоставляют собой гибкий инструмент интерполирования при условии, что множество центров более-менее равномерно покрывает область определения искомой функции (в идеале центры должны быть равноудалены от ближайших соседей). Тем не менее, как правило в промежуточных точках аппроксимация достигает высокой точности только если множество радиальных базисных функций дополнено полиномом, ортогональным к каждой из РБФ.

Литература

• Шаблон:Статья
• Шаблон:Citation.
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Citation
• Sirayanone, С., 1988, сравнительные исследования кригинга, мультиквадриков-бигармонический, и других методов решения проблемы минеральных ресурсов, кандидат технических наук. Диссертация, МЭИ. наук о Земле, Университет штата Айова, Эймс, Айова.
• Шаблон:Статья