Regularització (matemàtiques)

Les funcions verda i blava incorren en zero pèrdues en els punts de dades donats. Es pot induir un model après a preferir la funció verda, que es pot generalitzar millor a més punts extrets de la distribució desconeguda subjacent, ajustant $\lambda$, el pes del termini de regularització.

En matemàtiques, estadística, finances, informàtica, particularment en aprenentatge automàtic i problemes inversos, la regularització és un procés que canvia la resposta del resultat per ser "més simple". Sovint s'utilitza per obtenir resultats per problemes mal plantejats o per evitar un sobreajust.

Tot i que els procediments de regularització es poden dividir de moltes maneres, la delimitació següent és especialment útil:

• La regularització explícita és regularització sempre que s'afegeix explícitament un terme al problema d'optimització. Aquests termes poden ser anteriors, penalitzacions o limitacions. La regularització explícita s'utilitza habitualment amb problemes d'optimització mal plantejats. El terme de regularització, o penalització, imposa un cost a la funció d'optimització per fer única la solució òptima.
• La regularització implícita és totes les altres formes de regularització. Això inclou, per exemple, l'aturada anticipada, l'ús d'una funció de pèrdua robusta i l'eliminació dels valors atípics. La regularització implícita és essencialment omnipresent en els enfocaments moderns d'aprenentatge automàtic, inclòs el descens de gradient estocàstic per a l'entrenament de xarxes neuronals profundes i mètodes de conjunt (com boscos aleatoris i arbres augmentats amb gradients).

En la regularització explícita, independentment del problema o model, sempre hi ha un terme de dades, que correspon a una probabilitat de la mesura i un terme de regularització que correspon a un a priori. En combinar ambdues utilitzant l'estadística bayesiana, es pot calcular una posterior, que inclou ambdues fonts d'informació i, per tant, estabilitza el procés d'estimació. Compartint ambdós objectius, es tria ser més addictiu a les dades o fer complir la generalització (per evitar un sobreajust). Hi ha tota una branca de recerca que s'ocupa de totes les regularitzacions possibles. A la pràctica, s'acostuma a provar una regularització específica i després es calcula la densitat de probabilitat que correspon a aquesta regularització per justificar l'elecció. També pot estar motivat físicament pel sentit comú o la intuïció.

En l'aprenentatge automàtic, el terme de dades correspon a les dades d'entrenament i la regularització és l'elecció del model o les modificacions a l'algorisme. Sempre es pretén reduir l'error de generalització, és a dir, la puntuació d'error amb el model entrenat en el conjunt d'avaluació i no les dades d'entrenament.