Ядерная регрессия

Ядерная регрессия (Шаблон:Lang-en) — непараметрический статистический метод, позволяющий оценить условное математическое ожидание случайной величины. Его смысл заключается в поиске нелинейного отношения между парой случайных величин X и Y.

В любой непараметрической регрессии условное матожидание величины $Y$ относительно величины $X$ можно записать так:

$\mathrm{E}(Y|X)=m(X)$

где $m$ — некая неизвестная функция.

Ядерная регрессия Надарая — Уотсона

Надарая и Уотсон одновременно (в 1964 году) предложили оценивать $m$ как локально взвешенное среднее, где веса определялись бы ядром. Оценка Надарая — Уотсона:

${\hat{m}}_h(x)=\frac{\sum _{i=1}^n{K}_h(x-x_i)y_i}{\sum _{i=1}^n{K}_h(x-x_i)}$

где $K$ — ядро с шириной окна $h$. Знаменатель представляет собой весовой член с единичной суммой.

Получение

$\mathrm{E}(Y|X=x)=\int yf(y|x)dy=\int y\frac{f(x,y)}{f(x)}dy$

Находя ядерную оценку плотности для совместного распределения f(x,y) и распределения f(x) с ядром K,

$\hat{f}(x,y)=\frac{1}{n}\sum _{i=1}^n{K}_h(x-x_i)K_h(y-y_i)$,
$\hat{f}(x)=\frac{1}{n}\sum _{i=1}^n{K}_h(x-x_i)$,

получаем

$\hat{\mathrm{E}}(Y|X=x)=\int \frac{y\sum _{i=1}^n{K}_h(x-x_i)K_h(y-y_i)}{\sum _{i=1}^n{K}_h(x-x_i)}dy,$

$\hat{\mathrm{E}}(Y|X=x)=\frac{\sum _{i=1}^n{K}_h(x-x_i)\int y{K}_h(y-y_i)dy}{\sum _{i=1}^n{K}_h(x-x_i)},$

$\hat{\mathrm{E}}(Y|X=x)=\frac{\sum _{i=1}^n{K}_h(x-x_i)y_i}{\sum _{i=1}^n{K}_h(x-x_i)},$

это и есть оценка Надарая — Уотсона.

Ядерная оценка Пристли — Чжао

${\hat{m}}_{PC}(x)=h^{-1}\sum _{i=1}^n(x_i-x_{i-1})K\left(\frac{x-x_i}{h}\right)y_i$

Ядерная оценка Гассера — Мюллера

${\hat{m}}_{GM}(x)=h^{-1}\sum _{i=1}^n\left[\underset{s_{i-1}}{\overset{s_i}{\int }}K\left(\frac{x-u}{h}\right)du\right]y_i$

где $s_i=\frac{x_{i-1}+x_i}{2}$

В статистических пакетах

• MATLAB: свободно распространяемый инструментарий для ядерных регрессий, оценок плотности и проч. доступны по ссылке (является приложением к книге).
• Stata: kernreg2
• R: функция npreg в пакете np способна построить ядерную регрессию.
• Python: пакет kernel_regression (расширение sklearn).
• GNU Octave: математический программный пакет.

Литература

• Шаблон:Книга
• Шаблон:Книга
• Шаблон:Книга
• Шаблон:Книга

Ссылки

• Scale-adaptive kernel regression (with Matlab software).
• Tutorial of Kernel regression using spreadsheet (with Microsoft Excel).
• An online kernel regression demonstration Requires .NET 3.0 or later.
• Kernel regression with automatic bandwidth selection (with Python)