Divergència Jensen-Shannon

En teoria i estadística de probabilitats, la divergència Jensen-Shannon és un mètode per mesurar la similitud entre dues distribucions de probabilitat. També es coneix com a radi d'informació (IRad) o divergència total a la mitjana. Es basa en la divergència Kullback-Leibler, amb algunes diferències notables (i útils), inclòs que és simètrica i sempre té un valor finit. L'arrel quadrada de la divergència Jensen-Shannon és una mètrica que sovint es coneix com a distància Jensen-Shannon.

Definició

Considereu el conjunt $M_{+}^{1}(A)$ de distribucions de probabilitat on $A$ és un conjunt proveït d'alguna σ-àlgebra de subconjunts mesurables. En particular podem prendre $A$ per ser un conjunt finit o comptable amb tots els subconjunts mesurables.

La divergència Jensen-Shannon (JSD) és una versió simètrica i suavitzada de la divergència Kullback-Leibler $D(P\parallel Q)$. Es defineix per

${\rm {JSD}}(P\parallel Q)={\frac {1}{2}}D(P\parallel M)+{\frac {1}{2}}D(Q\parallel M),$

on $M={\frac {1}{2}}(P+Q)$ és una distribució de barreja de $P$ i $Q$.

La divergència geomètrica de Jensen–Shannon (o divergència G-Jensen–Shannon) produeix una fórmula de forma tancada per a la divergència entre dues distribucions gaussianas prenent la mitjana geomètrica.

Una definició més general, que permet la comparació de més de dues distribucions de probabilitat, és:

${\begin{aligned}{\rm {JSD}}_{\pi _{1},\ldots ,\pi _{n}}(P_{1},P_{2},\ldots ,P_{n})&=\sum _{i}\pi _{i}D(P_{i}\parallel M)\\&=H\left(M\right)-\sum _{i=1}^{n}\pi _{i}H(P_{i})\end{aligned}}$

on

${\begin{aligned}M&:=\sum _{i=1}^{n}\pi _{i}P_{i}\end{aligned}}$

i $\pi _{1},\ldots ,\pi _{n}$ són pesos que es seleccionen per a les distribucions de probabilitat $P_{1},P_{2},\ldots ,P_{n}$, i $H(P)$ és l'entropia de Shannon per a la distribució $P$. Per al cas de dues distribucions descrit anteriorment,

$P_{1}=P,P_{2}=Q,\pi _{1}=\pi _{2}={\frac {1}{2}}.\$

Per tant, per a aquestes distribucions $P,Q$

$JSD=H(M)-{\frac {1}{2}}{\bigg (}H(P)+H(Q){\bigg )}$

Aplicacions

La divergència Jensen-Shannon s'ha aplicat en bioinformàtica i comparació del genoma, en comparació de superfícies de proteïnes, en ciències socials, en l'estudi quantitatiu de la història, en experiments de foc, i en l'aprenentatge automàtic.