Anàlisi semàntica latent probabilística

Notació de plaques que representa el model PLSA (formulació "asimètrica"). $d$ és la variable d'índex del document, $c$ és el tema d'una paraula extret de la distribució de temes del document, $P(c|d)$, i $w$ és una paraula extreta de la distribució de paraules del tema d'aquesta paraula, $P(w|c)$. El $d$ i $w$ són variables observables, el tema $c$ és una variable latent.

L'anàlisi semàntica latent probabilista (PLSA), també coneguda com a indexació semàntica latent probabilista (PLSI, especialment en cercles de recuperació d'informació) és una tècnica estadística per a l'anàlisi de dades de dos modes i de co-ocurrència. En efecte, es pot derivar una representació de dimensions baixes de les variables observades en termes de la seva afinitat amb determinades variables ocultes, igual que en l'anàlisi semàntica latent, a partir de la qual va evolucionar PLSA.

En comparació amb l'anàlisi semàntica latent estàndard que prové de l'àlgebra lineal i redueix la mida de les taules d'ocurrències (normalment mitjançant una descomposició de valors singulars), l'anàlisi semàntica latent probabilística es basa en una descomposició de mescles derivada d'un model de classe latent.

Model

Tenint en compte les observacions en forma de co-ocurrències $(w,d)$ de paraules i documents, PLSA modela la probabilitat de cada co-ocurrència com una barreja de distribucions multinomials condicionalment independents:

$P(w,d)=\sum _{c}P(c)P(d|c)P(w|c)=P(d)\sum _{c}P(c|d)P(w|c)$

amb $c$ sent el tema de les paraules. Tingueu en compte que el nombre de temes és un hiperparàmetre que s'ha de triar amb antelació i que no s'estima a partir de les dades. La primera formulació és la formulació simètrica, on $w$ i $d$ tots dos es generen a partir de la classe latent $c$ de maneres similars (utilitzant les probabilitats condicionals $P(d|c)$ i $P(w|c)$), mentre que la segona formulació és la formulació asimètrica, on, per a cada document $d$, una classe latent s'escull condicionalment al document segons $P(c|d)$, i després es genera una paraula a partir d'aquesta classe segons $P(w|c)$. Tot i que hem utilitzat paraules i documents en aquest exemple, la co-ocurrència de qualsevol parell de variables discretes es pot modelar exactament de la mateixa manera.

Per tant, el nombre de paràmetres és igual a $cd+wc$. El nombre de paràmetres creix linealment amb el nombre de documents. A més, tot i que PLSA és un model generatiu dels documents de la col·lecció en què es calcula, no és un model generatiu de nous documents.

Els seus paràmetres s'aprenen mitjançant l'algorisme EM.

Aplicació

PLSA es pot utilitzar en un entorn discriminatiu, mitjançant nuclis de Fisher.

PLSA té aplicacions en recuperació i filtratge d'informació, processament del llenguatge natural, aprenentatge automàtic a partir de text, bioinformàtica i àrees relacionades.

S'informa que el model d'aspecte utilitzat en l'anàlisi semàntica latent probabilística té problemes greus d'ajustament excessiu.