Информация Фишера

Информа́ция Фи́шера — математическое ожидание квадрата относительной скорости изменения условной плотности вероятности $p(x|\theta )$Шаблон:Sfn. Эта функция названа в честь описавшего её Рональда Фишера.

Определение

Пусть $f(\theta ,x_1,\dots ,x_n)$ — плотность распределения для данной статистической модели. Тогда если определена функция

$I_n(\theta )={𝔼}_{\theta }{\left(\frac{\partial L(\theta ,x_1,\dots ,x_n)}{\partial \theta }\right)}^2,L=\sum _{i=1}^n\ln f(\theta ,x_i)$,

где $L(\theta ,x_1,\dots ,x_n)$ — логарифмическая функция правдоподобия, а ${𝔼}_{\theta }$ — математическое ожидание по $x$ при данном $\theta$, то она называется информацией Фишера для данной статистической модели при $n$ независимых испытаниях.

Если $\ln f(x;\theta )$ дважды дифференцируем по $\theta$, и при определенных условиях регулярности, информацию Фишера можно переписать как

$I_n(\theta )={𝔼}_{\theta }{\left(\frac{\partial L(\theta ,X)}{\partial \theta }\right)}^2=-{𝔼}_{\theta }\left(\frac{{\partial }^{2}L(\theta ,X)}{\partial {\theta }^2}\right)$

Для регулярных моделей: ${𝔼}_{\theta }\left(\frac{\partial L(\theta ,x_1,\dots ,x_n)}{\partial \theta }\right)=0$ (В этом и состоит определение регулярности).

В этом случае, поскольку математическое ожидание функции вклада выборки равно нулю, выписанная величина равна её дисперсии.

Фишеровским количеством информации, содержащемся в одном наблюдении называют:

$I_i(\theta )={𝔼}_{\theta }{\left(\frac{\partial \ln f(\theta ,x_i)}{\partial \theta }\right)}^2$.

Для регулярных моделей все $I_i(\theta )$ равны между собой.

Если выборка состоит из одного элемента, то информация Фишера записывается так:

$I(\theta )={𝔼}_{\theta }{\left(\frac{\partial \ln f(\theta ,x)}{\partial \theta }\right)}^2$.

Из условия регулярности, а также из того, что в случае независимости случайных величин дисперсия суммы равна сумме дисперсий, следует, что для $n$ независимых испытаний $I_n(\theta )=nI(\theta )$.

Свойства

• Из указанного выше свойства дисперсий следует, что в случае независимости случайных величин ${\xi }_1(\theta ,x),\dots ,{\xi }_n(\theta ,x)$ (рассматриваемых в одной статистической модели) информация Фишера их суммы равна сумме информации Фишера каждой из них.

Сохранение информации достаточной статистикой

В общем случае, если $T=t(X)$ — статистика выборки X, то

$I_T(\theta )\le I_X(\theta )$

Причем равенство достигается тогда и только тогда, когда T является достаточной статистикой.

Достаточная статистика содержит столько же информации Фишера, сколько и вся выборка X. Это может быть показано с помощью факторизационного критерия Неймана для достаточной статистики. Если статистика $T(X)$ достаточна для параметра $\theta$, то существуют функции g и h такие, что:

$f(X;\theta )=g(T(X),\theta )h(X)$

Равенство информации следует из:

$\frac{\partial }{\partial \theta }\ln [f(X;\theta )]=\frac{\partial }{\partial \theta }\ln [g(T(X);\theta )]$

что следует из определения информации Фишера и независимости $h(X)$ от $\theta$.

См. также

• Неравенство Крамера — Рао
• Информационное неравенство (математическая статистика)

Другие меры, используемые в теории информации:

• Информационная энтропия
• Расстояние Кульбака — Лейблера
• Собственная информация

Литература

• Шаблон:Книга