Aproximació de Laplace

Estadística bayesiana
Teoria
A priori A posteriori Eficiència bayesiana Probabilitat bayesiana Teorema de Bayes Regla de Bayes Factor de Bayes Inferència bayesiana Xarxa bayesiana Principi d'indiferència Principi de màxima entropia Mètode empíric bayesià Criteri d'informació bayesià Interval creïble Distribució a priori conjugada Distribució posterior predictiva Estimació màxima a posteriori Verosimilitud Regla de Cromwell Teorema de Bernstein–von Mises
Tècniques
Regressió lineal bayesiana Estimador bayesià Computació bayesiana aproximada

L'aproximació de Laplace proporciona una expressió analítica per a una distribució de probabilitat posterior ajustant una distribució gaussiana amb una mitjana igual a la solució MAP i una precisió igual a la informació de Fisher observada. L'aproximació està justificada pel teorema de Bernstein–von Mises, que afirma que en condicions de regularitat el posterior convergeix a un gaussià en mostres grans.

Per exemple, un model de classificació o regressió (possiblement no lineal) amb un conjunt de dades $\{x_{n},y_{n}\}_{n=1,\ldots ,N}$ que inclou entrades $x$ i sortides $y$ té un vector de paràmetres (desconegut). $\theta$ de llargada $D$. Es denota la probabilitat $p({\bf {y}}|{\bf {x}},\theta )$ i el paràmetre anterior $p(\theta )$. Suposem que es vol aproximar la densitat conjunta de sortides i paràmetres $p({\bf {y}},\theta |{\bf {x}})$

$p({\bf {y}},\theta |{\bf {x}})\;=\;p({\bf {y}}|{\bf {x}},\theta )p(\theta |{\bf {x}})\;=\;p({\bf {y}}|{\bf {x}})p(\theta |{\bf {y}},{\bf {x}})\;\simeq \;{\tilde {q}}(\theta )\;=\;Zq(\theta ).$

L'articulació és igual al producte de la versemblança i l'anterior i per la regla de Bayes, igual al producte de la versemblança marginal $p({\bf {y}}|{\bf {x}})$ i posterior $p(\theta |{\bf {y}},{\bf {x}})$. Vist en funció de $\theta$ l'articulació és una densitat no normalitzada. En l'aproximació de Laplace aproximem l'articulació mitjançant una gaussiana no normalitzada ${\tilde {q}}(\theta )=Zq(\theta )$, on fem servir $q$ per indicar la densitat aproximada, ${\tilde {q}}$ per a la densitat no normalitzada i $Z$ és una constant (independent de $\theta$ ). Des de la probabilitat marginal $p({\bf {y}}|{\bf {x}})$ no depèn del paràmetre $\theta$ i el posterior $p(\theta |{\bf {y}},{\bf {x}})$ es normalitza $\theta$ podem identificar-los immediatament $Z$ i $q(\theta )$ de la nostra aproximació, respectivament. L'aproximació de Laplace és

$p({\bf {y}},\theta |{\bf {x}})\;\simeq \;p({\bf {y}},{\hat {\theta }}|{\bf {x}})\exp {\big (}-{\tfrac {1}{2}}(\theta -{\hat {\theta }})S^{-1}(\theta -{\hat {\theta }}){\big )}\;=\;{\tilde {q}}(\theta ),$

on hem definit

${\begin{aligned}{\hat {\theta }}&\;=\;\operatorname {argmax} _{\theta }\log p({\bf {y}},\theta |{\bf {x}}),\\S^{-1}&\;=\;-\left.\nabla _{\theta }\nabla _{\theta }\log p({\bf {y}},\theta |{\bf {x}})\right|_{\theta ={\hat {\theta }}},\end{aligned}}$

on ${\hat {\theta }}$ és la ubicació d'un mode de la densitat objectiu conjunta, també conegut com a màxim a posteriori o punt MAP i $S^{-1}$ és el $D\times D$ matriu definida positiva de segones derivades de la densitat objectiu de l'articulació negatiu al mode $\theta ={\hat {\theta }}$. Així, l'aproximació gaussiana coincideix amb el valor i la curvatura de la densitat objectiu no normalitzada en el mode. El valor de ${\hat {\theta }}$ normalment es troba utilitzant un mètode basat en gradients, per exemple, el mètode de Newton. En resum, tenim

${\begin{aligned}q(\theta )&\;=\;{\cal {N}}(\theta |\mu ={\hat {\theta }},\Sigma =S),\\\log Z&\;=\;\log p({\bf {y}},{\hat {\theta }}|{\bf {x}})+{\tfrac {1}{2}}\log |S|+{\tfrac {D}{2}}\log(2\pi ),\end{aligned}}$

per a la part posterior aproximada $\theta$ i la probabilitat logarítmica marginal aproximada respectivament. En el cas especial de la regressió lineal bayesiana amb un a priori gaussià, l'aproximació és exacta. Les principals debilitats de l'aproximació de Laplace són que és simètrica al voltant del mode i que és molt local: tota l'aproximació es deriva de propietats en un sol punt de la densitat objectiu. El mètode de Laplace és àmpliament utilitzat i va ser pioner en el context de les xarxes neuronals per David MacKay, i per als processos gaussians per Williams i Barber.