Просмотр кода страницы XGBoost

{{Infobox software
| name                   = XGBoost
| logo                   = XGBoost_logo.png
| screenshot             =
| caption                =
| developer              = The XGBoost Contributors
| released               = {{Start date and age|2014|03|27}}
| latest release version = 1.6.0
| latest release date    = {{Start date and age|2022|04|15}}
| operating system       = [[Linux]], [[macOS]], [[Windows]]
| programming language   = [[C++]]
| genre                  = [[Машинное обучение]]
| license                = [[Apache License 2.0]]
| website                = {{URL|https://xgboost.ai/}}
}}
'''XGBoost'''<ref name="source-code">{{cite web |url=https://github.com/dmlc/xgboost |title=Ссылка на страницу проекта |website=[[GitHub]] |access-date=2022-04-17 |archive-date=2021-04-01 |archive-url=https://web.archive.org/web/20210401110045/https://github.com/dmlc/xgboost |url-status=live }}</ref> (eXtreme Gradient Boosting) — это библиотека с [[Открытое программное обеспечение|открытым исходным кодом]], используемая в [[Машинное обучение|машинном обучении]] и предоставляющая функциональность для решения задач, связанных с [[Регуляризация (математика)|регуляризацией]] градиентного [[бустинг]]а. Библиотека поддерживается [[Язык программирования|языками программирования]] [[C++]], [[Java]], [[Python]]<ref name="xgboost-python">{{Cite web|url=https://pypi.python.org/pypi/xgboost/|title=Python Package Index PYPI: xgboost|access-date=2016-08-01|archive-date=2017-08-23|archive-url=https://web.archive.org/web/20170823013244/https://pypi.python.org/pypi/xgboost|url-status=live}}</ref>, [[R (язык программирования)|R]]<ref name="xgboost-cran">{{Cite web|url=https://cran.r-project.org/web/packages/xgboost/index.html|title=CRAN package xgboost|access-date=2016-08-01|archive-date=2018-10-26|archive-url=https://web.archive.org/web/20181026172734/https://cran.r-project.org/web/packages/xgboost/index.html|url-status=live}}</ref>, [[Julia (язык программирования)|Julia]]<ref name="xgboost-julia">{{Cite web|url=http://pkg.julialang.org/?pkg=XGBoost#XGBoost|title=Julia package listing xgboost|access-date=2016-08-01|archive-date=2016-08-18|archive-url=https://web.archive.org/web/20160818144844/http://pkg.julialang.org/?pkg=XGBoost#XGBoost|url-status=dead}}</ref>, [[Perl (язык программирования)|Perl]]<ref name="xgboost-perl">{{Cite web|url=https://metacpan.org/pod/AI::XGBoost|title=CPAN module AI::XGBoost|access-date=2020-02-09|archive-date=2021-10-06|archive-url=https://web.archive.org/web/20211006180514/https://metacpan.org/pod/AI::XGBoost|url-status=live}}</ref> и [[Scala (язык программирования)|Scala]]. Библиотека работает под [[Операционная система|ОС]] [[Linux]], [[Windows]]<ref name="xgboost-windows">{{Cite web|title=Installing XGBoost for Anaconda in Windows| website=[[IBM]] |url=https://www.ibm.com/developerworks/community/blogs/jfp/entry/Installing_XGBoost_For_Anaconda_on_Windows?lang=en|access-date=2016-08-01|archive-date=2018-05-08|archive-url=https://web.archive.org/web/20180508185540/https://www.ibm.com/developerworks/community/blogs/jfp/entry/Installing_XGBoost_For_Anaconda_on_Windows?lang=en|url-status=live}}</ref>, и [[macOS]]<ref name="xgboost-macos">{{Cite web|title=Installing XGBoost on Mac OSX| website=[[IBM]] |url=https://www.ibm.com/developerworks/community/blogs/jfp/entry/Installing_XGBoost_on_Mac_OSX?lang=en|access-date=2016-08-01|archive-date=2018-05-08|archive-url=https://web.archive.org/web/20180508185643/https://www.ibm.com/developerworks/community/blogs/jfp/entry/Installing_XGBoost_on_Mac_OSX?lang=en|url-status=live}}</ref>. Она работает как на одной машине, так и на системах распределенной обработки [[Apache Hadoop]], [[Apache Spark]] и [[Apache Flink]].

В последнее время эта библиотека приобрела большую популярность и привлекла внимание как выбор многих команд-победителей соревнований по машинному обучению<ref name="xgboost-competition-winners">{{Cite web|title=XGBoost - ML winning solutions (incomplete list)|website=[[GitHub]] |url=https://github.com/dmlc/xgboost/tree/master/demo#machine-learning-challenge-winning-solutions|access-date=2016-08-01|archive-date=2017-08-24|archive-url=https://web.archive.org/web/20170824150805/https://github.com/dmlc/xgboost/tree/master/demo#machine-learning-challenge-winning-solutions|url-status=live}}</ref>.

== История ==
XGBoost изначально начинался как исследовательский проект Чэн Тяньци<ref name="history">{{Cite web|url=http://homes.cs.washington.edu/~tqchen/2016/03/10/story-and-lessons-behind-the-evolution-of-xgboost.html|title=Story and Lessons behind the evolution of XGBoost|access-date=2016-08-01|archive-date=2016-08-07|archive-url=https://web.archive.org/web/20160807033610/http://homes.cs.washington.edu/~tqchen/2016/03/10/story-and-lessons-behind-the-evolution-of-xgboost.html|url-status=dead}}</ref> как часть группы Distributed (Deep) Machine Learning Community (DMLC). Изначально она начиналась как консольная программа, которую можно было настроить с помощью конфигурационного файла [[libsvm]]. XGBoost стал широко известен в кругах участников соревнований по машинному обучению после его использования в решении победителя конкурса [https://www.kaggle.com/c/higgs-boson Higgs Machine Learning Challenge]. Вскоре после этого были созданы пакеты для Python и R, и теперь XGBoost имеет реализации пакетов для Java, [[Scala (язык программирования)|Scala]], [[Julia (язык программирования)|Julia]], [[Perl (язык программирования)|Perl]] и других языков. Это позволило привлечь к библиотеке больше разработчиков и способствовало ее популярности среди сообщества [[Kaggle]], где она использовалась для проведения большого количества соревнований<ref name="xgboost-competition-winners" />.

Вскоре XGBoost был интегрирован с рядом других пакетов, что упростило его использование в соответствующих сообществах. Сейчас он интегрирован в [[scikit-learn]] для пользователей [[Python (язык программирования)|Python]] и в пакет [https://cran.rstudio.com/web/packages/caret/vignettes/caret.html caret] для пользователей [[R (язык программирования)|R]]. Он также может быть интегрирован в такие фреймворки Data Flow, как [[Apache Spark]], [[Apache Hadoop]] и [[Apache Flink]] с помощью абстрактного Rabit<ref name="rabit">{{Cite web|url=https://github.com/dmlc/rabit|title=Rabit - Reliable Allreduce and Broadcast Interface|website=[[GitHub]] |access-date=2016-08-01|archive-date=2018-06-11|archive-url=https://web.archive.org/web/20180611023836/https://github.com/dmlc/rabit|url-status=live}}</ref> и XGBoost4J<ref name="xgboost4j">{{Cite web|url=https://xgboost.readthedocs.io/en/latest/jvm/index. html|title=XGBoost4J|access-date=2016-08-01|url-status=dead}}</ref>. XGBoost также доступен на [[OpenCL]] для [[ПЛИС]]<ref name="xgboost FPGA">{{Cite web|url=https://github. com/InAccel/xgboost|title=XGBoost on FPGAs|access-date=2019-08-01|url-status=dead}}</ref>. Эффективная, масштабируемая реализация XGBoost была опубликована Чэн Тяньци и Карлосом Густрином<ref name="paper">{{cite conference
| last1 = Chen | first1 = Tianqi
| last2 = Guestrin | first2 = Carlos
| editor1-last = Krishnapuram | editor1-first = Balaji
| editor2-last = Shah | editor2-first = Mohak
| редактор3-последний = Смола | редактор3-первый = Александр Дж.
| editor4-last = Aggarwal | editor4-first = Charu C.
| editor5-last = Shen | editor5-first = Dou
| editor6-last = Rastogi | editor6-first = Rajeev
| arxiv = 1603.02754
| вклад = XGBoost: Масштабируемая система бустинга деревьев
| doi = 10.1145/2939672.2939785
| pages = 785–794
| publisher = ACM
| title = Труды 22-й Международной конференции ACM SIGKDD по обнаружению знаний и добыче данных, Сан-Франциско, Калифорния, США, 13-17 августа 2016 года.
| year = 2016}}</ref>.

Хотя модель XGBoost часто достигает более высокой точности, чем одно дерево решений, она жертвует присущей деревьям решений интерпретируемостью.  Например, проследить путь, по которому дерево решений принимает решение, тривиально и самообъяснимо, но проследить пути сотен или тысяч деревьев гораздо сложнее. Для достижения производительности и интерпретируемости некоторые методы сжатия моделей позволяют преобразовать XGBoost в одно "перерожденное" дерево решений, которое аппроксимирует ту же функцию принятия решений<ref>{{cite journal |last1=Sagi |first1=Omer |last2=Rokach |first2=Lior |title=Approximating XGBoost with an interpretable decision tree. |journal=Information Sciences |date=2021 |volume=572 |issue=2021 |page=522-542 |doi=10.1016/j.ins.2021.05.055}}</ref>.
== Функционал ==
Основные особенности XGBoost, отличающие его от других алгоритмов градиентного бустинга, включают:<ref>{{Cite web|url=https://medium.com/hackernoon/gradient-boosting-and-xgboost-90862daa6c77|title=Gradient Boosting and XGBoost|last=Gandhi|first=Rohith|date=2019-05-24|website=Medium|language=en|access-date=2020-01-04|archive-date=2022-07-31|archive-url=https://web.archive.org/web/20220731060821/https://medium.com/hackernoon/gradient-boosting-and-xgboost-90862daa6c77|url-status=live}}</ref><ref>{{Cite web|url=https://towardsdatascience.com/boosting-algorithm-xgboost-4d9ec0207d|title=Boosting algorithm: XGBoost|date=2017-05-14|website=Towards Data Science|language=en|access-date=2020-01-04|archive-date=2022-04-06|archive-url=https://web.archive.org/web/20220406090428/https://towardsdatascience.com/boosting-algorithm-xgboost-4d9ec0207d?gi=8af52dbdb7de|url-status=dead}}</ref><ref>{{Cite web|url=https://syncedreview.com/2017/10/22/tree-boosting-with-xgboost-why-does-xgboost-win-every-machine-learning-competition/|title=Tree Boosting With XGBoost - Why Does XGBoost Win "Every" Machine Learning Competition?|date=2017-10-22|website=Synced|language=en-US|access-date=2020-01-04|archive-date=2022-08-23|archive-url=https://web.archive.org/web/20220823110527/https://syncedreview.com/2017/10/22/tree-boosting-with-xgboost-why-does-xgboost-win-every-machine-learning-competition/|url-status=live}}</ref>.

* Умная штрафовка деревьев
* Пропорциональное уменьшение узлов листьев
* [[Метод Ньютона]] в оптимизации
* Дополнительный параметр рандомизации
* Реализация на одиночных, [[Распределённые вычисления|распределенных]] системах и [[out-of-core]] вычислениях
* Автоматический [[отбор признаков]]

== Описание алгоритма ==
XGBoost использует [[Метод Ньютона#Метод Ньютона — Рафсона|Метод Ньютона-Рафсона]] в пространстве функций, в отличие от [[градиентный бустинг|градиентного бустинга]], который работает как градиентный спуск в пространстве функций, в функции потерь используется [[ряд Тейлора]] второго порядка для связи с методом Ньютона-Рафсона.

Общий вид нерегуляризованного алгоритма XGBoost:
{{Начало коробки|голубой}}
Вход: обучающее множество <math>\{(x_i, y_i)\}_{i=1}^N</math>, дифференцируемая функция потерь <math>L(y, F(x))</math>, число слабых обучающихся <math>M</math> и скорость обучения <math>\alpha</math>.

Алгоритм:
# Инициализировать модель постоянным значением:
#: <math>\hat{f}_{(0)}(x) = \underset{\theta}{\arg\min} \sum_{i=1}^N L(y_i, \theta).</math>
# Для {{mvar|m}} = от 1 до {{mvar|M}}:
## Вычислите "градиенты" и "гессианы":
##: <math>\hat{g}_m(x_i)=\left[\frac{\partial L(y_i,f(x_i))}{\partial f(x_i)} \right]_{f(x)=\hat{f}_{(m-1)}(x)}.</math>
##: <math>\hat{h}_m(x_i)=\left[\frac{\partial^2 L(y_i,f(x_i))}{\partial f(x_i)^2} \right]_{f(x)=\hat{f}_{(m-1)}(x)}.</math>
## Подогнать базового/слабого обучающегося, используя обучающее множество <math>\displaystyle\left\{x_i,-\frac{\hat{g}_m(x_i)}{\hat{h}_m(x_i)}\right\}_{i=1}^{N}</math>, решив следующую оптимизационную задачу:
##:<math>\hat{\phi}_m=\underset{\phi \in \mathbf{\Phi}}{\arg\min}\sum_{i=1}^{N}\frac{1}{2}\hat{h}_m(x_i)\left[-\frac{\hat{g}_m(x_i)}{\hat{h}_m(x_i)}-\phi(x_i) \right]^2.</math>
##:<math> \hat{f}_m(x)=\alpha \hat{\phi}_m(x).</math>
## Обновление модели:
##: <math>\hat{f}_{(m)}(x) = \hat{f}_{(m-1)}(x) + \hat{f}_m(x).</math>
# Результат: <math>\hat{f}(x)=\hat{f}_{(M)}(x)=\sum_{m=0}^{M}\hat{f}_m(x).</math>
{{Конец коробки}}

== Награды ==
* Премия [[John Chambers (statistician)|John Chambers]] <small>(2016)</small><ref name="john-chambers">{{Cite web|url=http://stat-computing.org/awards/jmc/winners.html|title=John Chambers Award Previous Winners|access-date=2016-08-01|archive-date=2017-07-31|archive-url=https://web.archive.org/web/20170731231612/http://stat-computing.org/awards/jmc/winners.html|url-status=live}}</ref>
* Премия High Energy Physics meets Machine Learning award (HEP meets ML) <small>(2016)</small><ref name="hep-meets-ml">{{Cite web|url=https://higgsml.lal.in2p3.fr/prizes-and-award/award/|title=HEP meets ML Award|access-date=2016-08-01|archive-date=2018-05-08|archive-url=https://web.archive.org/web/20180508185553/https://higgsml.lal.in2p3.fr/prizes-and-award/award/|url-status=live}}</ref>

== Примечания ==

{{примечания}}

[[Категория:Машинное обучение]]