Выборочная функция распределения

Выборочная (эмпири́ческая) фу́нкция распределе́ния в математической статистике — это приближение теоретической функции распределения, построенное с помощью выборки из него.

Определение

Пусть $X_1,\dots ,X_n$ — выборка объёма $n$, порождённая случайной величиной $X$, задаваемой функцией распределения $F(x)$. Будем считать, что $X_i$, где $i\in \{1,n\},n\in \mathbb{N}$, — независимые случайные величины, определённые на некотором пространстве элементарных исходов $\mathrm{\Omega }$. Пусть $x\in ℝ$. Определим функцию $\hat{F}(x)$ следующим образом:

$\hat{F}(x)=\frac{1}{n}\sum _{i=1}^n{\mathrm{𝟏}}_{\{X_i\le x\}}=\frac{1}{n}\sum _{i=1}^n\theta (x-X_i)$,

где ${\mathrm{𝟏}}_A$ — индикатор события $A$, $\theta (x)$ — функция Хевисайда. Таким образом, значение функции $\hat{F}$ в точке $x$ равно относительной частоте элементов выборки, не превосходящих значение $x$. Функция $\hat{F}(x)$ называется выборочной функцией распределения случайной величины $X$, или эмпирической функцией выборки, и является аппроксимацией для функции $F(x)$. Существует теорема Колмогорова, утверждающая, что при $n\to \mathrm{\infty }$ функция $\hat{F}(x)$ равномерно сходится к $F(x)$, и указывающая скорость сходимости. Для каждого положительного $x$, $\hat{F}(x)$ — случайная величина со значением $\frac{k}{n},k\in \{0,n\}$.

Основные свойства

• Пусть зафиксирован элементарный исход $\omega \in \mathrm{\Omega }$. Тогда $\hat{F}(x,\omega )$ является функцией распределения дискретного распределения, задаваемого следующей функцией вероятности:

$p_i=p(x_i)=\frac{N_{x_i}}{n},i=1,\dots ,n$,

где $x_i=X_i(\omega )$, а $N_x=\sum _{j=1}^n{\mathrm{𝟏}}_{\{x=x_j\}}$ — количество элементов выборки, равных $x$. В частности, если все элементы выборки различны, то $N_{x_i}=1,\mathrm{\forall }i$.

Математическое ожидание этого распределения имеет вид:

$\sum _{i=1}^n{x}_i{p}_i=\sum _{i=1}^n{x}_i\frac{N_{x_i}}{n}=\bar{X}(\omega )$.

Таким образом, выборочное среднее — это теоретическое среднее выборочного распределения. Аналогично, выборочная дисперсия — это теоретическая дисперсия выборочного распределения.

• Случайная величина $n\hat{F}(x)$ имеет биномиальное распределение:

$n\hat{F}(x)\sim \mathrm{B}\mathrm{i}\mathrm{n}(n,F(x))$.

• Выборочная функция распределения $\hat{F}(x)$ является несмещённой оценкой функции распределения $F(x)$:

$𝔼[\hat{F}(x)]=F(x)$.

• Дисперсия выборочной функции распределения имеет вид:

$\mathrm{D}[\hat{F}(x)]=\frac{F(x)(1-F(x))}{n}$.

• Согласно усиленному закону больших чисел, выборочная функция распределения сходится почти наверное к теоретической функции распределения:

$\hat{F}(x)\to F(x)$ почти наверное при $n\to \mathrm{\infty }$.

• Выборочная функция распределения является асимптотически нормальной оценкой теоретической функции распределения. Если $0<F(x)<1,\mathrm{\forall }x\in ℝ$, то

$\sqrt{n}(\hat{F}(x)-F(x))\to \mathrm{N}(0,F(x)(1-F(x)))$ по распределению при $n\to \mathrm{\infty }$.

См. также

• Гистограмма (статистика)
• Теорема Гливенко — Кантелли
• Теорема Колмогорова