Màquines d'aprenentatge extrem

Les màquines d'aprenentatge extrem són xarxes neuronals anticipades per a la classificació, la regressió, l'agrupació, l'aproximació escassa, la compressió i l'aprenentatge de funcions amb una sola capa o diverses capes de nodes ocults, on els paràmetres dels nodes ocults (no només els pesos que connecten les entrades als nodes ocults) necessiten per ser afinat. Aquests nodes ocults es poden assignar aleatòriament i no actualitzar-se mai (és a dir, són de projecció aleatòria però amb transformacions no lineals), o es poden heretar dels seus avantpassats sense canviar-los. En la majoria dels casos, els pesos de sortida dels nodes ocults s'aprenen generalment en un sol pas, que bàsicament equival a aprendre un model lineal.

El nom de "màquina d'aprenentatge extrem" (ELM) va ser donat a aquests models per Guang-Bin Huang. La idea es remunta a Frank Rosenblatt, que no només va publicar una sola capa Perceptron l'any 1958, sinó que també va introduir un perceptró multicapa amb 3 capes: una capa d'entrada, una capa oculta amb pesos aleatoris que no van aprendre i un capa de sortida d'aprenentatge.

Segons alguns investigadors, aquests models són capaços de produir un bon rendiment de generalització i d'aprendre milers de vegades més ràpid que les xarxes entrenades mitjançant la retropropagació. A la literatura, també mostra que aquests models poden superar les màquines vectorials de suport tant en aplicacions de classificació com de regressió.

Història

Entre 2001 i 2010, la investigació de l'ELM es va centrar principalment en el marc d'aprenentatge unificat per a xarxes neuronals d'alimentació anticipada d'una sola capa "generalitzada" (SLFN), incloses, entre d'altres, xarxes sigmoides, xarxes RBF, xarxes de llindar, xarxes trigonomètriques, borroses. sistemes d'inferència, sèries de Fourier, Transformada Laplacià, xarxes wavelet, etc. Un assoliment significatiu aconseguit en aquests anys és demostrar amb èxit les capacitats universals d'aproximació i classificació de l'ELM en teoria.

Algorismes

Donada una única capa oculta d'ELM, suposem que la funció de sortida de la $i$ -el node ocult és $h_{i}(\mathbf {x} )=G(\mathbf {a} _{i},b_{i},\mathbf {x} )$, on $\mathbf {a} _{i}$ i $b_{i}$ són els paràmetres de la $i$ -è node ocult. La funció de sortida de l'ELM per a xarxes de feedforward de capa oculta única (SLFN) amb $L$ nodes ocults és:

$f_{L}({\bf {x}})=\sum _{i=1}^{L}{\boldsymbol {\beta }}_{i}h_{i}({\bf {x}})$, on ${\boldsymbol {\beta }}_{i}$ és el pes de sortida del $i$ -è node ocult.

$\mathbf {h} (\mathbf {x} )=[h_{i}(\mathbf {x} ),...,h_{L}(\mathbf {x} )]$ és el mapeig de sortida de la capa oculta d'ELM. Donat $N$ mostres d'entrenament, la matriu de sortida de la capa oculta $\mathbf {H}$ d'ELM es dona com:

${\bf {H}}=\left[{\begin{matrix}{\bf {h}}({\bf {x}}_{1})\\\vdots \\{\bf {h}}({\bf {x}}_{N})\end{matrix}}\right]=\left[{\begin{matrix}G({\bf {a}}_{1},b_{1},{\bf {x}}_{1})&\cdots &G({\bf {a}}_{L},b_{L},{\bf {x}}_{1})\\\vdots &\vdots &\vdots \\G({\bf {a}}_{1},b_{1},{\bf {x}}_{N})&\cdots &G({\bf {a}}_{L},b_{L},{\bf {x}}_{N})\end{matrix}}\right]$

i $\mathbf {T}$ és la matriu objectiu de dades d'entrenament:

${\bf {T}}=\left[{\begin{matrix}{\bf {t}}_{1}\\\vdots \\{\bf {t}}_{N}\end{matrix}}\right]$

En termes generals, ELM és una mena de xarxes neuronals de regularització, però amb mapes de capes ocultes no sintonitzades (formades per nodes ocults aleatoris, nuclis o altres implementacions), la seva funció objectiu és:

${\text{Minimització: }}\|{\boldsymbol {\beta }}\|_{p}^{\sigma _{1}}+C\|{\bf {H}}{\boldsymbol {\beta }}-{\bf {T}}\|_{q}^{\sigma _{2}}$

on $\sigma _{1}>0,\sigma _{2}>0,p,q=0,{\frac {1}{2}},1,2,\cdots ,+\infty$

Diferents combinacions de $\sigma _{1}$, $\sigma _{2}$, $p$ i $q$ es pot utilitzar i donar lloc a diferents algorismes d'aprenentatge per a regressió, classificació, codificació escassa, compressió, aprenentatge de funcions i agrupació.

Arquitectures

En la majoria dels casos, ELM s'utilitza com a xarxa d'alimentació anticipada de capa oculta (SLFN) que inclou, entre d'altres, xarxes sigmoides, xarxes RBF, xarxes de llindar, xarxes d'inferència difusa, xarxes neuronals complexes, xarxes wavelet, transformada de Fourier, transformada Laplacià, etc. A causa de les seves diferents implementacions d'algorismes d'aprenentatge per a la regressió, la classificació, la codificació escassa, la compressió, l'aprenentatge de característiques i l'agrupació, els multi ELM s'han utilitzat per formar xarxes de múltiples capes ocultes, aprenentatge profund o xarxes jeràrquiques.