Desigualtat de Cramér-Rao

En estadística, el llindar de Cramér-Rao (abreujada CRB per les seves sigles de l'anglès) o llindar inferior de Cramér-Rao (CRLB), anomenat així en honor de Harald Cramér i Calyampudi Radhakrishna Rao, expressa una cota inferior per a la variància d'un estimador no esbiaixat, basat en la informació de Fisher.

Estableix que la inversa multiplicativa de la informació de Fisher d'un paràmetre $\theta$,${\mathcal {I}}(\theta )$, és una cota inferior per a la variància d'un estimador no esbiaixat del paràmetre (denotat mitjançant ${\widehat {\theta }}$). $f$ és la funció de versemblança.

$\mathrm {var} \left({\widehat {\theta }}\right)\geq {\frac {1}{{\mathcal {I}}(\theta )}}={\frac {1}{\mathrm {E} \left[\left[{\frac {\partial }{\partial \theta }}\log f(X;\theta )\right]^{2}\right]}}$

En alguns casos, no existeix un estimador no esbiaixats que pugui aconseguir aquest llindar inferior.

A aquesta cota la hi coneix també com la desigualtat de Cramér-Rao o com la desigualtat d'informació.

Condicions de regularitat

La cota depèn de dues condicions de regularitat febles de la funció de densitat de probabilitat, $f(x;\theta )$, i de l'estimador :$T(X)$

• La informació de Fisher sempre està definida; en altres paraules, per a tot $x$ tal que $f(x;\theta )>0$,

${\frac {\partial }{\partial \theta }}\ln f(x;\theta )$

és finit.

• Les operacions d'integració pel que fa a x i de diferenciació pel que fa a poden intercanviar-se en l'esperança de ; és a dir,$\theta$$T$

${\frac {\partial }{\partial \theta }}\left[\int T(x)f(x;\theta )\,dx\right]=\int T(x)\left[{\frac {\partial }{\partial \theta }}f(x;\theta )\right]\,dx$

sempre que el membre dret de l'equació sigui finit.

En alguns casos, un estimador esbiaixat pot tenir tant variància com a error quadràtic mig per sota de la cota inferior de Cramér-Rao (la cota inferior s'aplica solament a estimadors no esbiaixats).

Si s'estén la segona condició de regularitat a la segona derivada, llavors es pot usar una forma alternativa de la informació de Fisher per obtenir una nova desigualtat de Cramér-Rao

$\mathrm {var} \left({\widehat {\theta }}\right)\geq {\frac {1}{{\mathcal {I}}(\theta )}}={\frac {1}{-\mathrm {E} \left[{\frac {d^{2}}{d\theta ^{2}}}\log f(X;\theta )\right]}}$

En alguns casos pot resultar més senzill prendre l'esperança pel que fa a la segona derivada que prendre-la respecte del quadrat de la primera derivada.

Exemple

Distribució normal multivariada

Pel cas d'una sistribució normal multivariant de dimensió d

${\boldsymbol {x}}\sim N_{d}\left({\boldsymbol {\mu }}\left({\boldsymbol {\theta }}\right),C\left({\boldsymbol {\theta }}\right)\right)$

amb la funció de densitat de probabilitat

$f\left({\boldsymbol {x}};{\boldsymbol {\theta }}\right)={\frac {1}{\sqrt {(2\pi )^{d}\left|C\right|}}}\exp \left(-{\frac {1}{2}}\left({\boldsymbol {x}}-{\boldsymbol {\mu }}\right)^{T}C^{-1}\left({\boldsymbol {x}}-{\boldsymbol {\mu }}\right)\right),$

la matriu d'informació de Fisher té les entrades

${\mathcal {I}}_{m,k}={\frac {\partial {\boldsymbol {\mu }}^{T}}{\partial \theta _{m}}}C^{-1}{\frac {\partial {\boldsymbol {\mu }}}{\partial \theta _{k}}}+{\frac {1}{2}}\mathrm {tr} \left(C^{-1}{\frac {\partial C}{\partial \theta _{m}}}C^{-1}{\frac {\partial C}{\partial \theta _{k}}}\right)$

on $tr$ és la traça de la matriu.

En particular, si $w[n]$ és soroll blanc gaussià (una mostra d'$N$ observacions independents) amb variança coneguda $\sigma ^{2}$, és a dir,

$w[n]\sim \mathbb {N} _{N}\left({\boldsymbol {\mu }}(\theta ),\sigma ^{2}{\mathcal {I}}\right),$

i $\theta$ és un escalar, aleshores la matriu d'informació de Fisher és de dimensió 1 × 1

${\mathcal {I}}(\theta )=\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta _{m}}}\right)^{T}C^{-1}\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta _{k}}}\right)=\sum _{i=0}^{N}{\frac {1}{\sigma ^{2}}}={\frac {N}{\sigma ^{2}}},$

i per tant el llindar de Cramér-Rao és

$\mathrm {var} \left(\theta \right)\geq {\frac {\sigma ^{2}}{N}}.$

Bibliografia

• Kay, Steven M. Statistical Signal Processing, Volume I: Estimation Theory. Prentice Hall, 1993, p. ch. 3. ISBN 0-13-345711-7. 

Enllaços externs

• FandPLimitTool Arxivat 2012-12-15 at Archive.is un programa que calcula la informació de Fisher i el llindar inferior de Cramér-Rao en l'aplicació específica de la macroscòpica d'una única molècula.