Бутстрэп (статистика)

Шаблон:Otheruses Бутстрэп (Шаблон:Lang-en) в статистике — практический компьютерный метод исследования распределения статистик вероятностных распределений, основанный на многократной генерации выборок методом Монте-Карло на базе имеющейся выборки. Позволяет просто и быстро оценивать самые разные статистики (доверительные интервалы, дисперсию, корреляцию и так далее) для сложных моделей.

Понятие введено в 1977 году Брэдли Эфроном (первая публикация относится к 1979 годуШаблон:Sfn). Суть метода состоит в том, чтобы по имеющейся выборке построить эмпирическое распределение. Используя это распределение как теоретическое распределение вероятностей, можно с помощью датчика псевдослучайных чисел сгенерировать практически неограниченное количество псевдовыборок произвольного размера, например, того же, как у исходной. На множестве псевдовыборок можно оценить не только анализируемые статистические характеристики, но и изучить их вероятностные распределения. Таким образом, например, оказывается возможным оценить дисперсию или квантили любой статистики независимо от её сложности. Данный метод является методом непараметрической статистики.

Наряду с методами «складного ножа», перекрёстной проверки и Шаблон:Не переведено 2 составляет класс методов Шаблон:Не переведено 2.

Этимология

У стоящего ботинка виден торчащий ремешок (Шаблон:Lang-en)

Слово происходит от выражения: «To pull oneself over a fence by one’s bootstraps.» (дословно — «перебраться через ограду, потянув за ремешки на ботинках» (см. фото справа). Для русскоязычных людей ближе будет история барона Мюнхгаузена, который, потянув себя за волосы, вытащил себя и свою лошадь из болота.

Сам англицизм «бутстрап» используется во многих областях знаний, где нужно передать смысл того, что вы получаете что-то «бесплатно» или магическим образом из ничего получаете нечто стоящее. В области статистики ближайший по этимологии аналог термина — «самовытягивание».

Вводный пример

Пусть имеется два наблюдения:

$(x_1,y_1)=(1,1),(x_2,y_2)=(2,3)$

Предположим, что нам необходимо оценить параметр в регрессии y на x:

$y_i=\theta x_i+{ϵ}_i$

Оценка параметра, полученная методом наименьших квадратов, будет равна

$\hat{\theta }=\frac{x_1{y}_1+x_2{y}_2}{x_1^2+x_2^2}=\frac{1\times 1+2\times 3}{1^2+2^2}=\frac{7}{5}$

Эмпирическая функция распределения при этом равна

$(x,y{)}^{\prime }=\{\begin{array}{c}(1,1{)}^{\prime },p=1/2\\ (2,3{)}^{\prime },p=1/2\end{array}$

При этом данные из двух наблюдений относительно эмпирического распределения будут распределены так:

$(x_1,y_1{)}^{\prime },(x_2,y_2{)}^{\prime }=\{\begin{array}{c}(1,1{)}^{\prime },(1,1{)}^{\prime },p=1/4\\ (1,1{)}^{\prime },(2,3{)}^{\prime },p=1/4\\ (2,3{)}^{\prime },(1,1{)}^{\prime },p=1/4\\ (2,3{)}^{\prime },(2,3{)}^{\prime },p=1/4\end{array}$

Это и есть бутстрэповское распределение. Далее можем найти распределение МНК-оценки:

${\hat{\theta }}_2^{*}=\{\begin{array}{c}1,p=1/4\\ 7/5,p=1/2\\ 3/2,p=1/4\end{array}$

Применение

Бутстрэп используется для корректировки смещения, тестирования гипотез, построения доверительных интервалов.

Бутстрэповский доверительный интервал: алгоритм

Пусть дана выборка $(z_1;z_2;\dots ;z_n)$ из генеральной совокупности, и требуется оценить параметр $\theta$. Необходимо выбрать количество $B$ псевдовыборок, которые будут формироваться из элементов исходной выборки с возвращением. Для каждой из псевдовыборок $(z_1^{*};z_2^{*};\dots ;z_n^{*}{)}_b,b=1,2,\dots ,B$ вычисляется псевдостатистика ${\hat{\theta }}_b^{*}$.

Псевдостатистики ${\hat{\theta }}_1^{*},{\hat{\theta }}_2^{*},\dots ,{\hat{\theta }}_B^{*}$ сортируются от меньшей к большей. Квантилями $q_{{\alpha }_1}^{*},q_{1-{\alpha }_2}^{*}$ принимаются значения ${\hat{\theta }}_{[B{\alpha }_1]}^{*},{\hat{\theta }}_{[B(1-{\alpha }_2)+1]}^{*}$. С их помощью строится доверительный интервал.

Литература

• Шаблон:Статья
• Шаблон:Статья

Ссылки

• Bootstrap tutorial from ICASSP 99 Шаблон:Недоступная ссылка: Tutorial from a signal processing perspective
• Bootstrap sampling tutorial using MS Excel
• Animations for bootstrapping i.i.d data Шаблон:Недоступная ссылка by Yihui Xie using the R
• Bootstrapping tutorial