Model condicional restringit

Un model condicional restringit (amb acrònim anglès CCM) és un marc d'aprenentatge automàtic i inferència que augmenta l'aprenentatge de models condicionals (probabilístics o discriminatius) amb restriccions declaratives. La restricció es pot utilitzar com a forma d'incorporar expressivita coneixements previs sobre el model i esbiaixar les assignacions fetes pel model après per satisfer aquestes restriccions. El marc es pot utilitzar per donar suport a les decisions en un espai de sortida expressiu mentre es manté la modularitat i la manejabilitat de la formació i la inferència.

Models d'aquest tipus s'han fet recentment va cridar molt l'atenció dins de la comunitat de processament del llenguatge natural (PNL). Formular problemes com a problemes d'optimització restringida sobre la sortida dels models apresos té diversos avantatges. Permet centrar-se en el modelatge de problemes oferint l'oportunitat d'incorporar coneixements específics del domini com a restriccions globals utilitzant un llenguatge de primer ordre. L'ús d'aquest marc declaratiu allibera el desenvolupador de l'enginyeria de funcions de baix nivell alhora que captura les propietats específiques del domini del problema i garanteix una inferència exacta. Des d'una perspectiva d'aprenentatge automàtic, permet desacoblar l'etapa de generació de models (aprenentatge) de la de l'etapa d'inferència restringida, ajudant així a simplificar l'etapa d'aprenentatge alhora que millora la qualitat de les solucions. Per exemple, en el cas de generar frases comprimides, en lloc de basar-se simplement en un model de llenguatge per retenir els n-grams més utilitzats a l'oració, es poden utilitzar restriccions per garantir que si es manté un modificador a la frase comprimida, també es mantindrà l'assignatura.

Prendre decisions en molts dominis (com ara el processament del llenguatge natural i els problemes de visió per ordinador) sovint implica assignar valors a conjunts de variables interdependents on l'estructura de dependència expressiva pot influir, o fins i tot dictar, quines assignacions són possibles. Aquests paràmetres són aplicables no només als problemes d'aprenentatge estructurat, com ara l'etiquetatge de rols semàntics, sinó també als casos que requereixen l'ús de diversos components pre-apreses, com ara el resum, la implicació textual i la resposta a preguntes. En tots aquests casos, és natural formular el problema de decisió com un problema d'optimització restringida, amb una funció objectiva que es compon de models apresos, subjectes a restriccions específiques de domini o problema.

Donat un conjunt de funcions de característiques $\{\phi _{i}(x,y)\}$ i un conjunt de restriccions $\{C_{i}(x,y)\}$, definit sobre una estructura d'entrada $x\in X$ i una estructura de sortida $y\in Y$, un model condicional de restricció es caracteritza per dos vectors de pes, w i $\rho$, i es defineix com la solució del següent problema d'optimització:

$argmax_{y}\sum _{i}w_{i}\phi _{i}(x,y)-\sum \rho _{i}C_{i}(x,y)$

Cada restricció $C_{i}\in C$ és un mapeig booleà que indica si l'assignació conjunta $(x,y)$ incompleix una restricció, i $\rho$ és la sanció incorreguda per infringir les restriccions. Les restriccions a les quals se'ls assigna una penalització infinita es coneixen com a restriccions dures i representen assignacions inviables al problema d'optimització.