Entropia condicional

L'entropia condicional és una extensió del concepte d'entropia de la informació en processos on intervenen diverses variables aleatòries no necessàriament independents.

Definició

Suposem que $\scriptstyle X$ és una variable aleatòria sobre un espai de probabilitat $\scriptstyle \Omega \,$ i $\scriptstyle A\subset \Omega$ sigui un esdeveniment. si $\scriptstyle X$ pren valors sobre un conjunt finit $\scriptstyle \{a_{i}|1\leq i\leq m\}$, Es defineix de manera natural l'entropia condicional de $\scriptstyle X$ donat $\scriptstyle A$ com:

$H(X|A)=\sum _{k=1}^{m}P(X=a_{k}|A)\ln P(X=a_{k}|A)$

De la mateixa manera si $\scriptstyle Y$ és una altra variable aleatòria que pren valors $\scriptstyle b_{k}$ es defineix l'entropia condicional $\scriptstyle H(X|Y)$ com:

$H(X|Y)=\sum _{j}H(X|Y=b_{j})P(Y=b_{j})$

Es pot interpretar l'anterior magnitud com la incertesa de $\scriptstyle X$ donat un valor particular de $\scriptstyle Y$, Amitjanat per tots els valors possibles de $\scriptstyle Y$ ..

Propietats

• Trivialment s'esdevé que $\scriptstyle H(X|X)=0$
• $\scriptstyle H(X|Y)=H(X)$ si $\scriptstyle X$ i $\scriptstyle Y$ són variables independents.
• Donades dues variables que prenen un conjunt finit de valors: $\scriptstyle H(X,Y)=H(Y)+H(X|Y)=H(X)+H(Y|X)$
• Com a conseqüència de l'anterior i que $\scriptstyle H(X,Y)\leq H(Y)+H(X)$, Es té: $\scriptstyle H(X|Y)\leq H(X)$ .

Vegeu també

• Entropia de Shannon

Bibliografia

• Dominic Welsh (1988): Codes and Cryptography, Clarendon Press, Oxford, ISBN 0-19-853287-3