Просмотр кода страницы Метод релевантных векторов

'''Метод релевантных векторов''' (МРВ, {{lang-en|Relevance Vector Machine}}, RVM) — это техника [[Обучение машин|машинного обучения]], которая использует [[байесовский вывод]] для получения решений на принципе [[Бритва Оккама|экономности]] для [[Регрессионный анализ|регрессии]] и [[Вероятностный классификатор|вероятностной классификации]]{{sfn|Tipping|2001|с=211-244}}.
МРВ имеет тот же функциональный вид, что и [[метод опорных векторов]], но обеспечивает вероятностную классификацию.

== Описание ==
Метод, фактически, эквивалентен модели [[Гауссовский процесс|гауссовского процесса]] с {{нп5|Функция ковариации|функцией ковариации||covariance function}}:
:<math>k(\mathbf{x},\mathbf{x'}) = \sum_{j=1}^N \frac{1}{\alpha_j} \varphi(\mathbf{x},\mathbf{x}_j)\varphi(\mathbf{x}',\mathbf{x}_j) </math>,
где <math>\varphi</math> является {{нп5|Положительно определённое ядро|ядерной функцией||kernel function}} (обычно, гауссианом), <math>\alpha_j</math> являются априорными дисперсиями вектора весов
<math>w \sim N(0,\alpha^{-1}I)</math>, а <math>\mathbf{x}_1,\ldots,\mathbf{x}_N</math> являются входными векторами {{нп5|Тренировочные, тестовые и контрольные наборы|тренировочного набора||training set}}{{sfn|Candela|2004}}.

По сравнению с [[Метод опорных векторов|методами опорных векторов]] байесовская формулировка МРВ позволяет избежать необходимости использования свободных параметров (что, обычно, требует постоптимизации на основе перекрёстных проверок). Однако МРВ использует метод обучения, подобный [[EM-алгоритм]]у, а потому существует риск скатывания в локальный минимум. Это отличает его от стандартных алгоритмов на основе {{нп5|Последовательная минимальная оптимизация|последовательной минимальной оптимизации||sequential minimal optimization}}, используемой [[Метод опорных векторов|методами опорных векторов]] и гарантирующей нахождение глобального оптимума (на выпуклой задаче).

Метод релевантных векторов {{нп5|Патенты США на программное обеспечение|запатентован в США||Software patents under United States patent law}} компанией [[Microsoft]]<ref>{{cite patent
|country = US
|number = 6633857
|title = Relevance vector machine
|inventor = Michael E. Tipping
}}</ref>.

== См. также ==
* [[Ядерный метод]]
* {{нп5|Масштабирование Платта|||Platt scaling}}: превращает SVM в вероятностную модель

==Примечания==
{{примечания|2}}
==Литература==
{{refbegin|colwidth=30em}}
*{{статья
|ref=Tipping
|автор=Michael E. Tipping
|заглавие=Sparse Bayesian Learning and the Relevance Vector Machine
|год=2001
|издание = [[Journal of Machine Learning Research]]
|том=1
|ссылка=http://jmlr.csail.mit.edu/papers/v1/tipping01a.html
}}
*{{книга
|серия=Ph.D.
|ref=Candela
|автор=Joaquin Quiñonero Candela
|год=2004
|заглавие=Learning with Uncertainty - Gaussian Processes and Relevance Vector Machines
|издательство=Technical University of Denmark |ссылка=http://www2.imm.dtu.dk/pubdb/views/edoc_download.php/3237/pdf/imm3237.pdf |часть=Sparse Probabilistic Linear Models and the RVM
|access-date=April 22, 2016
}}
{{refend}}

== Программное обеспечение ==
* [http://dlib.net dlib] Библиотека на языке [[C++]] 
* [http://www.terborg.net/research/kml/ Библиотека ядерных машин]
* [http://www.maths.bris.ac.uk/R/web/packages/rvmbinary/index.html rvmbinary]: пакет на языке [[R (язык программирования)|R]] для двоичной классификации
* [https://github.com/JamesRitchie/scikit-rvm scikit-rvm]
* [https://github.com/AmazaspShumik/sklearn-bayes/blob/master/skbayes/rvm_ard_models/fast_rvm.py fast-scikit-rvm], [https://github.com/AmazaspShumik/sklearn-bayes/blob/master/ipython_notebooks_tutorials/rvm_ard/rvm_demo.ipynb Обучающий курс по методу релевантных векторов]

==Ссылки==
*[http://www.relevancevector.com WEB-страничка Типпинга о Разреженных байесовских моделях и Методе релевантных векторов]
*[https://web.archive.org/web/20111005202038/http://www.tristanfletcher.co.uk/RVM%20Explained.pdf Обучающий курс по методу релевантных векторов Тристана Флетчера]
*[https://github.com/AmazaspShumik/sklearn-bayes/blob/master/ipython_notebooks_tutorials/rvm_ard/rvm_demo.ipynb Обучающий курс по методу релевантных векторов]
*[https://www.quora.com/Why-is-it-that-RVMs-are-not-as-popular-as-SVMs Сравнение метода релевантных векторов и метода опорных векторов]
{{Машинное обучение}}

[[Категория:Алгоритмы классификации]]
[[Категория:Непараметрическая байесовская статистика]]
{{rq|checktranslate|style}}