Teorema de l'aproximació universal

En la teoria matemàtica de les xarxes neuronals artificials, els teoremes d'aproximació universal són teoremes de la forma següent: Donada una família de xarxes neuronals, per a cada funció $f$ a partir d'un determinat espai funcional, existeix una seqüència de xarxes neuronals $\phi _{1},\phi _{2},\dots$ de la família, tal que $\phi _{n}\to f$ segons algun criteri. És a dir, la família de xarxes neuronals és densa a l'espai funcional.

La versió més popular estableix que les xarxes feedforward amb funcions d'activació no polinomials són denses en l'espai de funcions contínues entre dos espais euclidians, respecte a la topologia de convergència compacta.

Els teoremes d'aproximació universal són teoremes d'existència: simplement afirmen que existeix aquesta seqüència. $\phi _{1},\phi _{2},\dots \to f$, i no proporcionen cap manera de trobar realment aquesta seqüència. Tampoc garanteixen que cap mètode, com ara la retropropagació, pugui trobar aquesta seqüència. Qualsevol mètode per cercar l'espai de les xarxes neuronals, inclosa la retropropagació, pot trobar una seqüència convergent, o no (és a dir, la retropropagació es pot quedar atrapada en un òptim local).

Els teoremes d'aproximació universals són teoremes límit: simplement indiquen que per a qualsevol $f$ i un criteri de proximitat $\epsilon >0$, si hi ha prou neurones en una xarxa neuronal, aleshores existeix una xarxa neuronal amb tantes neurones que s'aproxima $f$ a dins $\epsilon$. No hi ha cap garantia que una mida finita, per exemple, 10.000 neurones, sigui suficient.

Configuració

Les xarxes neuronals artificials són combinacions de múltiples funcions matemàtiques simples que implementen funcions més complicades des de (normalment) vectors de valor real fins a vectors de valor real. Els espais de funcions multivariants que es poden implementar per una xarxa estan determinats per l'estructura de la xarxa, el conjunt de funcions simples i els seus paràmetres multiplicatius. S'ha fet una gran quantitat de treball teòric per caracteritzar aquests espais funcionals.

La majoria dels teoremes d'aproximació universals es troben en una de les dues classes. El primer quantifica les capacitats d'aproximació de les xarxes neuronals amb un nombre arbitrari de neurones artificials ("cas d'amplada arbitraria ") i el segon se centra en el cas amb un nombre arbitrari de capes ocultes, cadascuna conté un nombre limitat de neurones artificials (" profunditat arbitrària "). "cas). A més d'aquestes dues classes, també hi ha teoremes d'aproximació universals per a xarxes neuronals amb un nombre limitat de capes ocultes i un nombre limitat de neurones a cada capa ("cas de profunditat i amplada limitada").

Història

Amplada arbitrària

Els primers exemples van ser el cas d'amplada arbitraria. George Cybenko el 1989 ho va demostrar per a les funcions d'activació sigmoide., Maxwell Stinchcombe i Halbert White van demostrar l'any 1989 que les xarxes d'alimentació anticipada multicapa amb tan sols una capa oculta són aproximadores universals. Hornik també va demostrar l'any 1991 que no és l'elecció específica de la funció d'activació, sinó més aviat la pròpia arquitectura de feed-forward multicapa la que dóna a les xarxes neuronals el potencial de ser aproximadores universals. Moshe Leshno et al el 1993 i posteriorment Allan Pinkus el 1999 van demostrar que la propietat d'aproximació universal és equivalent a tenir una funció d'activació no polinòmica.

Profunditat arbitrària

El cas de profunditat arbitrari també va ser estudiat per diversos autors com Gustaf Gripenberg el 2003, Dmitry Yarotsky, Zhou Lu et al el 2017, Boris Hanin i Mark Sellke el 2018 que es van centrar. en xarxes neuronals amb funció d'activació ReLU. El 2020, Patrick Kidger i Terry Lyons van estendre aquests resultats a xarxes neuronals amb funcions d'activació generals, com ara tanh, GeLU o Swish.

Profunditat limitada i amplada delimitada

Maiorov i Pinkus van estudiar per primera vegada el cas de la profunditat i l'amplada delimitades el 1999. Van demostrar que existeix una funció d'activació sigmoïdal analítica de manera que dues xarxes neuronals de capes ocultes amb un nombre limitat d'unitats en capes ocultes són aproximadors universals.

Límits quantitatius

La qüestió de l'amplada mínima possible per a la universalitat es va estudiar per primera vegada l'any 2021, Park et al van obtenir l'amplada mínima necessària per a l'aproximació universal de les funcions L^p utilitzant xarxes neuronals d'alimentació amb ReLU com a funcions d'activació. Paulo Tabuada i Bahman Gharesifard també van obtenir resultats similars que es poden aplicar directament a xarxes neuronals residuals el mateix any mitjançant arguments teòrics de control. El 2023, Cai va obtenir l'amplada mínima òptima limitada per a l'aproximació universal.

Xarxa Kolmogorov

El teorema de representació de Kolmogorov-Arnold és similar en esperit. De fet, certes famílies de xarxes neuronals poden aplicar directament el teorema de Kolmogorov-Arnold per obtenir un teorema d'aproximació universal.