Бэггинг
Бэггинг (от Шаблон:Lang-en, бутстрэп-агрегирование) — ансамблевый метаалгоритм, предназначенный для улучшения стабильности и точности алгоритмов машинного обучения, используемых в задачах классификации и регрессии. Алгоритм также уменьшает дисперсию и помогает избежать переобучения. Хотя он обычно применяется к методам машинного обучения на основе деревьев решений, его можно использовать с любым видом метода. Бэггинг является частным видом усреднения модели.
Предложен Лео Брейманом в 1994 годуШаблон:Sfn.
Описание техники
Если задан стандартный Шаблон:Iw размера , бэггинг образует новых тренировочных наборов , каждый размером , путём выборки из равномерно и с возвратом. При семплинге с возвратом некоторые наблюдения могут быть повторены в каждой . Если , то для больших ожидается, что множество имеет долю уникальных экземпляров из , остальные будут повторениямиШаблон:Sfn. Этот вид семплинга известен как бутстрэп-семплинг. Эти моделей сглаживаются с помощью вышеупомянутых бутстрэп-выборок и комбинируются путём усреднения (для регрессии) или голосования (для классификации).
Бэггинг ведёт к «улучшению для нестабильных процедур»Шаблон:Sfn, в которые входят, например, искусственные нейронные сети, деревья классификации и регрессий и выбор подмножеств в линейной регрессииШаблон:Sfn. В 2011 году найдено применение бэггинга для обработки изображенийШаблон:SfnШаблон:Sfn. С другой стороны, метод может слегка ухудшить эффективность стабильных методов, таких как метод K-ближайших соседейШаблон:Sfn.
Пример: зависимость концентрации озона от температуры
Для иллюстрации основных принципов бэггинга ниже приведён анализ связи между озоном и температуройШаблон:Sfn. Анализ осуществлён на языке программирования R.
Связь между температурой и озоном в этом наборе данных, очевидно, нелинейна. Чтобы описать эту связь, использовались сглаживатели Шаблон:Iw (с полосой пропускания 0,5). Вместо построения единого сглаживателя из всего набора данных извлечено 100 выборок бутстрэпов данных. Каждая выборка отличается от исходного набора данных, но они, всё же, совпадают по распределению и дисперсии. Для каждой бутстрэп-выборки применялся сглаживатель LOESS. Затем сделано предсказание по данным на основе этих 100 сглаживаний. Первые 10 сглаживаний показаны серыми линиями на рисунке ниже. Линии, как видно, очень волнисты и страдают переподгонкой данных — результат полосы слишком мал.
Взяв среднее 100 сглаживателей, которые применялись к подмножествам оригинального набора данных, мы получаем сборный предсказатель (красная линия). Ясно, что среднее более устойчиво и не столь подвержено переобучению.
