Метод релевантных векторов

Метод релевантных векторов (МРВ, Шаблон:Lang-en, RVM) — это техника машинного обучения, которая использует байесовский вывод для получения решений на принципе экономности для регрессии и вероятностной классификацииШаблон:Sfn. МРВ имеет тот же функциональный вид, что и метод опорных векторов, но обеспечивает вероятностную классификацию.

Описание

Метод, фактически, эквивалентен модели гауссовского процесса с Шаблон:Нп5:

$k(𝐱,{𝐱}^{\prime })=\sum _{j=1}^N\frac{1}{{\alpha }_j}\phi (𝐱,{𝐱}_j)\phi ({𝐱}^{\prime },{𝐱}_j)$,

где $\phi$ является Шаблон:Нп5 (обычно, гауссианом), ${\alpha }_j$ являются априорными дисперсиями вектора весов $w\sim N(0,{\alpha }^{-1}I)$, а ${𝐱}_1,\dots ,{𝐱}_N$ являются входными векторами Шаблон:Нп5Шаблон:Sfn.

По сравнению с методами опорных векторов байесовская формулировка МРВ позволяет избежать необходимости использования свободных параметров (что, обычно, требует постоптимизации на основе перекрёстных проверок). Однако МРВ использует метод обучения, подобный EM-алгоритму, а потому существует риск скатывания в локальный минимум. Это отличает его от стандартных алгоритмов на основе Шаблон:Нп5, используемой методами опорных векторов и гарантирующей нахождение глобального оптимума (на выпуклой задаче).

Метод релевантных векторов Шаблон:Нп5 компанией Microsoft.

См. также

• Ядерный метод
• Шаблон:Нп5: превращает SVM в вероятностную модель

Литература

• Шаблон:Статья
• Шаблон:Книга

Программное обеспечение

• dlib Библиотека на языке C++
• Библиотека ядерных машин
• rvmbinary: пакет на языке R для двоичной классификации
• scikit-rvm
• fast-scikit-rvm, Обучающий курс по методу релевантных векторов

Ссылки

• WEB-страничка Типпинга о Разреженных байесовских моделях и Методе релевантных векторов
• Обучающий курс по методу релевантных векторов Тристана Флетчера
• Обучающий курс по методу релевантных векторов
• Сравнение метода релевантных векторов и метода опорных векторов