Распределение Дирихле

В теории вероятностей и математической статистике распределение Дирихле (по имени Иоганна Петера Густава Лежён-Дирихлe), часто обозначаемое $\mathrm{Dir}(\alpha )$, — это семейство непрерывных многомерных вероятностных распределений, параметризованных вектором α неотрицательных вещественных чисел. Распределение Дирихле является обобщением Бета-распределения на многомерный случай. То есть, его функция плотности вероятности возвращает доверительную вероятность того, что вероятность каждого из $K$ взаимоисключающих событий равна $x_i$ при условии, что каждое событие наблюдалось ${\alpha }_i-1$ раз.

Функция плотности вероятности

Функция плотности вероятности для распределения Дирихле порядка K естьШаблон:Sfn

$f(x_1,\dots ,x_K;{\alpha }_1,\dots ,{\alpha }_K)=\frac{1}{\mathrm{B}(\alpha )}\prod _{i=1}^K{x}_i^{{\alpha }_i-1},$

где $x_i⩾0$, $\sum _{i=1}^K{x}_i=1$, ${\alpha }_i>0$, а $\mathrm{B}(\alpha )=\frac{\prod _{i=1}^K\mathrm{\Gamma }({\alpha }_i)}{\mathrm{\Gamma }\left(\sum _{i=1}^K{\alpha }_i\right)}$ — многомерная бета-функция, где $\alpha =({\alpha }_1,\dots ,{\alpha }_K).$

Свойства

Пусть $X=(X_1,\dots ,X_K)\sim \mathrm{Dir}(\alpha )$ и ${\alpha }_0=\sum _{i=1}^K{\alpha }_i,$ тогдаШаблон:Sfn

$\mathrm{E}[X_i\mid \alpha ]=\frac{{\alpha }_i}{{\alpha }_0},$

$\mathrm{Var}[X_i\mid \alpha ]=\frac{{\alpha }_i({\alpha }_0-{\alpha }_i)}{{\alpha }_0^2({\alpha }_0+1)},$

$\mathrm{Cov}[X_i{X}_j\mid \alpha ]=\frac{-{\alpha }_i{\alpha }_j}{{\alpha }_0^2({\alpha }_0+1)}.$

Модой распределения является вектор $x=(x_1,\dots ,x_K)$ с

$x_i=\frac{{\alpha }_i-1}{{\alpha }_0-K},{\alpha }_i>1.$

Распределение Дирихле является сопряжённым априорным распределением к мультиномиальному распределению, а именно, если

$\beta \mid X=({\beta }_1,\dots ,{\beta }_K)\mid X\sim \mathrm{Mult}(X),$

где β_i — число вхождений i в выборку из n точек дискретного распределения на {1, …, K} определённого через X, то

$X\mid \beta \sim \mathrm{Dir}(\alpha +\beta ).$

Эта связь используется в Байесовской статистике для того, чтобы оценить скрытые параметры X дискретного вероятностного распределения, имея набор из n выборок. Очевидно, что если априорное распределение обозначено как Dir(α), то Dir(α + β) есть апостериорное распределение после серии наблюдений с гистограммой β.

Связи с другими распределениями

Если для $i\in \{1,2,\dots ,K\},$

$Y_i\sim \mathrm{Gamma}(\text{shape}={\alpha }_i,\text{scale}=1)$ независимо, то

$V=\sum _{i=1}^K{Y}_i\sim \mathrm{Gamma}(\text{shape}=\sum _{i=1}^K{\alpha }_i,\text{scale}=1),$

и

$(X_1,\dots ,X_K)=(Y_1/V,\dots ,Y_K/V)\sim \mathrm{Dir}({\alpha }_1,\dots ,{\alpha }_K).$

Несмотря на то, что X_i не являются независимыми друг от друга, они могут быть сгенерированы из набора из $K$ независимых гамма случайных величин. К несчастью, так как сумма $V$ теряется в процессе формирования X = (X₁, …, X_K), становится невозможно восстановить начальные значения гамма случайных величин только по этим значениям. Тем не менее, благодаря тому, что работать с независимыми случайными величинами проще, это преобразование параметров может быть полезно при доказательстве свойств распределения Дирихле.

Генерация случайных чисел

Метод построения случайного вектора $x=(x_1,\dots ,x_K)$ для распределения Дирихле размерности K с параметрами $({\alpha }_1,\dots ,{\alpha }_K)$ следует непосредственно из этой связи. Сначала получим K независимых случайных выборок $y_1,\dots ,y_K$ из гамма-распределений, каждое из которых имеет плотность

$\frac{y_i^{{\alpha }_i-1}{e}^{-y_i}}{\mathrm{\Gamma }({\alpha }_i)},$

а затем положим

$x_i=y_i/\sum _{j=1}^K{y}_j.$

Наглядная трактовка параметров

В качестве примера использования распределения Дирихле можно предложить задачу, в которой требуется разрезать нитки (каждая начальной длины 1,0) на K частей с разными длинами так, чтобы все части имели заданную среднюю длину, но с возможностью некоторой вариации относительных длин частей. Значения α / α₀ определяют средние длины частей нитки, получившиеся из распределения. Дисперсия вокруг среднего значения обратно пропорциональна α₀.

См. также

• Бета-распределение
• Биномиальное распределение
• Мультиномиальное распределение

Литература

• Шаблон:Книга