Байесовская вероятность

Байесовская вероятность — интерпретация понятия вероятности, используемая в байесовской теории. Вероятность определяется как степень уверенности в истинности суждения. Для определения степени уверенности в истинности суждения при получении новой информации в байесовской теории используется теорема Байеса.

История

Байесовская теория и байесовская вероятность названы в честь Томаса Байеса (1702—1761), доказавшего частный случай теоремы, сейчас называемой теоремой Байеса. Термин «байесовский» стал использоваться примерно в 1950 году, и большая часть того, что сейчас называется «байесовским», не имеет к Байесу прямого отношения. Лаплас доказал более общий случай теоремы Байеса и использовал её для решения задач небесной механики и медицинской статистики. Лаплас, однако, не считал эту теорему важной для развития теории вероятностей. Он придерживался классического определения вероятности.

Франк Рамсей в работе Шаблон:Lang-en2 (1931) первым выдвинул идею об использовании субъективной уверенности для определения вероятности. Рамсей предложил это определение как дополнение к частотному определению, которое было более развито в то время. Статистик Бруно де Финетти в 1937 году применил идеи Рамсея как альтернативу частотному определению. Леонард Сэвидж расширил эту идею в работе Шаблон:Lang-en2 (1954).

Были попытки формального определения интуитивного понятия «степени уверенности». Наиболее общее определение основано на пари: степень уверенности отражается величиной ставки, которую человек готов поставить на то, что суждение истинно.

Варианты

Различные варианты байесовской интерпретации вероятности: субъективная вероятность и логическая вероятность.

Соотношение с частотной вероятностью

Байесовская вероятность противопоставляется частотной, в которой вероятность определяется относительной частотой появления случайного события при достаточно длительных наблюдениях.

Математическая статистика, основанная на частотной вероятности, была разработана Р. А. Фишером, Э. Пирсоном и Е. Нейманом в первой половине XX века. А. Колмогоров также использовал частотную интерпретацию при описании своей аксиоматики, основанной на интеграле Лебега.

Разница между байесовской и частотной интерпретацией играет важную роль в практической статистике. Например, при сравнении двух гипотез на одних и тех же данных, теория проверки статистических гипотез, основанная на частотной интерпретации, позволяет отвергать или не отвергать модели-гипотезы. При этом адекватная модель может быть отвергнута из-за того, что на этих данных кажется адекватнее другая модель. Байесовские методы, напротив, в зависимости от входных данных выдают апостериорную вероятность быть адекватной для каждой из моделей-гипотез.

Применение

С 1950-х годов байесовская теория и байесовская вероятность широко применяются за счёт, например, теоремы Кокса и принципа максимальной энтропии. Для многихШаблон:Каких? задач байесовские методы дают лучший результат, нежели методы, основанные на частотной вероятности.

Байесовская теория используется как метод адаптации существующих вероятностей к вновь полученным экспериментальным данным.

Байесовская теория используется для построения интеллектуальных фильтров, используемых, например, для фильтрации спам-писем из электронной почты.

Вероятности вероятностей

Неприятная деталь, связанная с использованием байесовской вероятности, в том, что задания вероятности недостаточно для того, чтобы понять её природу. Рассмотрим следующие ситуации:

1. У вас есть коробка с чёрными и белыми шарами и никакой информации относительно количества тех и других.
2. У вас есть коробка с чёрными и белыми шарами. Вы вытащили наудачу $n$ шаров, ровно половина из них оказались чёрными.
3. У вас есть коробка с чёрными и белыми шарами и вы знаете, что ровно половина из них — чёрные.

Байесовская вероятность «вытащить следующим чёрный шар» в каждом из этих случаев равна 0,5. Кейнс назвал это проблемой «степени уверенности». Эту проблему можно решить, введя вероятность вероятности (так называемую метавероятность).

1. Предположим, у вас есть коробка с чёрными и белыми шарами и никакой информации относительно того, сколько в ней шаров какого цвета.

Пусть $\theta =p$ — это утверждение о том, что вероятность вытащить следующим черный шар равна $p$, тогда распределение вероятности будет бета-распределением:

$\mathrm{\forall }\theta \in [0,1]$$f(\theta )=\mathrm{B}({\alpha }_B=1,{\alpha }_W=1)=\frac{\mathrm{\Gamma }({\alpha }_B+{\alpha }_W)}{\mathrm{\Gamma }({\alpha }_B)\cdot \mathrm{\Gamma }({\alpha }_W)}{\theta }^{{\alpha }_B-1}(1-\theta {)}^{{\alpha }_W-1}=\frac{\mathrm{\Gamma }(2)}{\mathrm{\Gamma }(1)\cdot \mathrm{\Gamma }(1)}{\theta }^0(1-\theta {)}^0=1$Предполагая, что вытягивания шаров независимы и равновероятны, распределение вероятности $P(\theta \mid m,n)$, после вытягивания m чёрных шаров и n белых шаров также будет Бета-распределением с параметрами ${\alpha }_B=1+m$, ${\alpha }_W=1+n$.

2. Предположим, что вы вытащили из коробки $n$ шаров, половина из них оказались чёрными, а остальные — белыми. В этом случае распределение вероятности $\theta =p$ будет бета-распределением $\mathrm{B}(\frac{n}{2}+1,\frac{n}{2}+1)$. Максимальное апостериорное ожидание $\theta$ равно ${\theta }_{MAP}=\frac{\frac{n}{2}+1}{n+2}=0,5$.

3. Вы знаете, что ровно половина шаров — чёрные, а остальные — белые. В этом случае вероятность равна 0,5 с вероятностью 1: $f(\theta )=\delta (\theta -0,5)$.

См. также

• Байесианизм
• Интерпретации вероятности
• Частотная вероятность
• Философия математики
• Теорема Рамсея
• Теорема Байеса
• Байесовская сеть доверия
• Байесовское программирование

Ссылки

• Computerworld QuickStudy: Bayesian Logic And FiltersШаблон:Ref-en
• International Society for Bayesian Analysis Шаблон:WaybackШаблон:Ref-en Simpler explanation of Bayesian analysis
• On-line textbook: Information Theory, Inference, and Learning Algorithms Шаблон:WaybackШаблон:Ref-en, by David MacKay, has many chapters on Bayesian methods, including introductory examples; arguments in favour of Bayesian methods (in the style of Edwin Jaynes); state-of-the-art Monte Carlo methods, message-passing methods, and variational methods; and examples illustrating the intimate connections between Bayesian inference and data compression.
• A nice on-line introductory tutorial to Bayesian probability Шаблон:WaybackШаблон:Ref-en from Queen Mary University of London
• An Intuitive Explanation of Bayesian ReasoningШаблон:Ref-en A very gentle introduction by Eliezer Yudkowsky
• Jaynes, E.T. (1998) Probability Theory : The Logic of Science Шаблон:WaybackШаблон:Ref-en.
• Bretthorst, G. Larry, 1988, Bayesian Spectrum Analysis and Parameter Estimation Шаблон:Wayback in Lecture Notes in Statistics, 48, Springer-Verlag, New York, New York;
• http://www-groups.dcs.st-andrews.ac.uk/history/Mathematicians/Ramsey.html Шаблон:Wayback
• David Howie: Interpreting Probability, Controversies and Developments in the Early Twentieth Century, Cambridge University Press, 2002, ISBN 0-521-81251-8
• Colin Howson and Peter Urbach: Scientific Reasoning: The Bayesian Approach, Open Court Publishing, 2nd edition, 1993, ISBN 0-8126-9235-7, focuses on the philosophical underpinnings of Bayesian and frequentist statistics. Argues for the subjective interpretation of probability.
• Luc Bovens and Stephan Hartmann: Bayesian Epistemology. Oxford: Oxford University Press 2003. Extends the Bayesian program to more complex decision scenarios (e.g. dependent and partially reliable witnesses and measurement instruments) using Bayesian Network models. The book also proofs an impossibility theorem for coherence orderings over information sets and offers a measure that induces a partial coherence ordering.
• Jeff Miller «Earliest Known Uses of Some of the Words of Mathematics (B)»
• James Franklin The Science of Conjecture: Evidence and Probability Before Pascal Шаблон:Wayback, history from a Bayesian point of view.
• Paul Graham «Bayesian spam filtering» Шаблон:Wayback
• novomind AG «Outlook categorizing tool based on Bayesian filtering»
• Howard Raiffa Decision Analysis: Introductory Lectures on Choices under Uncertainty. McGraw Hill, College Custom Series. (1997) ISBN 0-07-052579-X
• Devender Sivia, Data Analysis: A Bayesian Tutorial. Oxford: Clarendon Press (1996), pp. 7–8. ISBN 0-19-851889-7
• Henk Tijms: Understanding Probability, Cambridge University Press, 2004
• Is the portrait of Thomas Bayes authentic? Who Is this gentleman? When and where was he born? Шаблон:Wayback The IMS Bulletin, Vol. 17 (1988), No. 3, pp. 276–278
• Bayesian Spam Filter Шаблон:Wayback for Microsoft Outlook
• Ask the experts on Bayes’s Theorem, from Scientific American
• There is a continuing debate among statisticians over the proper definition of probability. [1] Шаблон:Wayback