Estimador de Bayes

Comparació d'error quadrat mitjà entre estimadors de Bayes i estimador de màxima versemblança per als graus de llibertat

En la teoria de l'estimació i la teoria de la decisió, un estimador de Bayes o una acció de Bayes és un estimador o una regla de decisió que minimitza el valor esperat posterior d'una funció de pèrdua (és a dir, la pèrdua esperada posterior). De manera equivalent, maximitza l'expectativa posterior d'una funció d'utilitat. Una forma alternativa de formular un estimador dins de l'estadística bayesiana és l'estimació màxima a posteriori.

Definició

Suposem un paràmetre desconegut $\theta$ se sap que té una distribució prèvia $\pi$. Deixar ${\widehat {\theta }}={\widehat {\theta }}(x)$ ser un estimador $\theta$ (basat en algunes mesures x ), i deixem $L(\theta ,{\widehat {\theta }})$ ser una funció de pèrdua, com ara l'error al quadrat. El risc de Bayes ${\widehat {\theta }}$ es defineix com $E_{\pi }(L(\theta ,{\widehat {\theta }}))$, on l'expectativa es fa càrrec de la distribució de probabilitat de $\theta$ : defineix la funció de risc en funció de ${\widehat {\theta }}$. Un estimador ${\widehat {\theta }}$ es diu que és un estimador de Bayes si minimitza el risc de Bayes entre tots els estimadors. De manera equivalent, l'estimador que minimitza la pèrdua esperada posterior $E(L(\theta ,{\widehat {\theta }})|x)$ per cadascú $x$ també minimitza el risc de Bayes i, per tant, és un estimador de Bayes.

Si l'anterior és inadequat, llavors un estimador que minimitzi la pèrdua esperada posterior per a cadascun $x$ s'anomena estimador de Bayes generalitzat.

Exemples

Estimació de l'error quadrat mitjà mínim

La funció de risc més comuna utilitzada per a l'estimació bayesiana és l'error quadrat mitjà (MSE), també anomenat risc d'error quadrat. El MSE es defineix per

$\mathrm {MSE} =E\left[({\widehat {\theta }}(x)-\theta )^{2}\right],$

on l'expectativa es fa càrrec de la distribució conjunta de $\theta$ i $x$.

Estimadors de Bayes per a priors conjugats

Si no hi ha cap raó inherent per preferir una distribució de probabilitat prèvia a una altra, de vegades s'escull un a priori conjugat per simplicitat. Un prior conjugat es defineix com una distribució prèvia que pertany a alguna família paramètrica, per a la qual la distribució posterior resultant també pertany a la mateixa família. Aquesta és una propietat important, ja que l'estimador de Bayes, així com les seves propietats estadístiques (variància, interval de confiança, etc.), es poden derivar de la distribució posterior.

Els priors conjugats són especialment útils per a l'estimació seqüencial, on el posterior de la mesura actual s'utilitza com a anterior en la següent mesura. En l'estimació seqüencial, tret que s'utilitzi un a priori conjugat, la distribució posterior normalment es fa més complexa amb cada mesura afegida, i l'estimador de Bayes no es pot calcular sense recórrer a mètodes numèrics.

Estimadors Bayes generalitzats

La distribució prèvia $p$ fins ara s'ha assumit que és una veritable distribució de probabilitat, en això

$\int p(\theta )d\theta =1.$

No obstant això, de vegades pot ser un requisit restrictiu. Per exemple, no hi ha cap distribució (que cobreixi el conjunt, R, de tots els nombres reals) per a la qual cada nombre real sigui igual de probable. No obstant això, en cert sentit, aquesta "distribució" sembla una opció natural per a un a priori no informatiu, és a dir, una distribució prèvia que no implica una preferència per cap valor particular del paràmetre desconegut. Encara es pot definir una funció $p(\theta )=1$, però aquesta no seria una distribució de probabilitat adequada ja que té massa infinita,

$\int {p(\theta )d\theta }=\infty .$

Aquestes mesures $p(\theta )$, que no són distribucions de probabilitat, es coneixen com a priors impropis.

L'ús d'un a priori inadequat significa que el risc de Bayes no està definit (ja que l'a priori no és una distribució de probabilitat i no podem assumir una expectativa sota ell). Com a conseqüència, ja no té sentit parlar d'un estimador de Bayes que minimitzi el risc de Bayes. No obstant això, en molts casos, es pot definir la distribució posterior

$p(\theta |x)={\frac {p(x|\theta )p(\theta )}{\int p(x|\theta )p(\theta )d\theta }}.$

Aquesta és una definició, i no una aplicació del teorema de Bayes, ja que el teorema de Bayes només es pot aplicar quan totes les distribucions són adequades. Tanmateix, no és estrany que la "posterior" resultant sigui una distribució de probabilitat vàlida. En aquest cas, la pèrdua esperada posterior

$\int {L(\theta ,a)p(\theta |x)d\theta }$

normalment està ben definit i finit. Recordeu que, per a un a priori adequat, l'estimador de Bayes minimitza la pèrdua esperada posterior. Quan l'anterior és impropi, un estimador que minimitza la pèrdua esperada posterior es coneix com a estimador Bayes generalitzat.