Operadors neuronals

Els operadors neuronals són una classe d'arquitectures d'aprenentatge profund dissenyades per aprendre mapes entre espais funcionals de dimensions infinites. Els operadors neuronals representen una extensió de les xarxes neuronals artificials tradicionals, marcant una sortida de l'enfocament típic en l'aprenentatge de mapes entre espais euclidians de dimensions finites o conjunts finits. Els operadors neuronals aprenen directament operadors entre espais funcionals; poden rebre funcions d'entrada i la funció de sortida es pot avaluar en qualsevol discretització.

L'aplicació principal dels operadors neuronals és l'aprenentatge de mapes substituts per als operadors de solució d'equacions diferencials parcials (PDE), que són eines crítiques per modelar l'entorn natural. Els solucionadors estàndard de PDE poden consumir temps i consumir càlculs, especialment per a sistemes complexos. Els operadors neuronals han demostrat un rendiment millorat en la resolució de PDE en comparació amb les metodologies d'aprenentatge automàtic existents alhora que són significativament més ràpids que els solucionadors numèrics. Els operadors neuronals també s'han aplicat a diverses disciplines científiques i d'enginyeria, com ara el modelatge de flux turbulents, la mecànica computacional, les dades estructurades en gràfics i les geociències. En particular, s'han aplicat per aprendre camps d'estrès-deformació en materials, classificar dades complexes com la transcriptòmica espacial, predir el flux multifàsic en medis porosos i simulacions de migració de diòxid de carboni. Finalment, el paradigma d'aprenentatge de l'operador permet l'aprenentatge de mapes entre espais de funció, i és diferent de les idees paral·leles de mapes d'aprenentatge des d'espais de dimensions finites fins a espais de funció, i subsumeix aquests paràmetres quan es limita a la resolució d'entrada fixa.

Aprenentatge de l'operador

Entendre i mapejar les relacions entre espais funcionals té moltes aplicacions en enginyeria i ciències. En particular, es pot plantejar el problema de resoldre equacions diferencials parcials com la identificació d'un mapa entre espais funcionals, com ara des d'una condició inicial a un estat evolucionat en el temps. En altres PDE, aquest mapa pren una funció de coeficient d'entrada i produeix una funció de solució. L'aprenentatge d'operadors és un paradigma d'aprenentatge automàtic per aprendre els operadors de solucions que assignen la funció d'entrada a la funció de sortida.

Utilitzant mètodes tradicionals d'aprenentatge automàtic, abordar aquest problema implicaria discretitzar els espais de funcions d'entrada i sortida de dimensions infinites en quadrícules de dimensions finites i aplicar models d'aprenentatge estàndard, com ara xarxes neuronals. Aquest enfocament redueix l'aprenentatge de l'operador a l'aprenentatge de funcions de dimensions finites i té algunes limitacions, com ara generalitzar a discretitzacions més enllà de la graella utilitzada en l'entrenament.

Les propietats principals dels operadors neuronals que els diferencien de les xarxes neuronals tradicionals són la invariància de discretització i la convergència de la discretització. A diferència de les xarxes neuronals convencionals, que es fixen en la discretització de les dades d'entrenament, els operadors neuronals poden adaptar-se a diverses discretitzacions sense tornar a entrenar. Aquesta propietat millora la robustesa i l'aplicabilitat dels operadors neuronals en diferents escenaris, proporcionant un rendiment coherent en diferents resolucions i graelles.

Definició i formulació

Arquitectònicament, els operadors neuronals són similars a les xarxes neuronals d'alimentació anticipada en el sentit que es componen de mapes lineals alternats i no linealitats. Atès que els operadors neuronals actuen sobre funcions i emeten, els operadors neuronals s'han formulat com una seqüència d'operadors integrals lineals alternatius en espais funcionals i no linealitats puntuals. Utilitzant una arquitectura anàloga a les xarxes neuronals de dimensions finites, s'han provat teoremes d'aproximació universals similars per als operadors neuronals. En particular, s'ha demostrat que els operadors neuronals poden aproximar qualsevol operador continu en un conjunt compacte.

Els operadors neuronals busquen aproximar algun operador ${\mathcal {G}}:{\mathcal {A}}\to {\mathcal {U}}$ entre espais funcionals ${\mathcal {A}}$ i ${\mathcal {U}}$ mitjançant la construcció d'un mapa paramètric ${\mathcal {G}}_{\phi }:{\mathcal {A}}\to {\mathcal {U}}$. Aquests mapes paramètrics ${\mathcal {G}}_{\phi }$ generalment es pot definir en la forma

${\mathcal {G}}_{\phi }:={\mathcal {Q}}\circ \sigma (W_{T}+{\mathcal {K}}_{T}+b_{T})\circ \cdots \circ \sigma (W_{1}+{\mathcal {K}}_{1}+b_{1})\circ {\mathcal {P}},$

on ${\mathcal {P}},{\mathcal {Q}}$ són els operadors d'elevació (elevació del codomini de la funció d'entrada a un espai dimensional superior) i de projecció (projecció del codomini de la funció intermèdia a la codimensió de sortida), respectivament. Aquests operadors actuen puntualment sobre les funcions i normalment es parametritzen com a perceptrons multicapa. $\sigma$ és una no linealitat puntual, com ara una unitat lineal rectificada (ReLU) o una unitat lineal d'error gaussià (GeLU). Cada capa $t=1,\dots ,T$ té un operador local respectiu $W_{t}$ (normalment parametritzat per una xarxa neuronal puntual), un operador integral del nucli ${\mathcal {K}}_{t}$, i una funció de biaix $b_{t}$. Donada alguna representació funcional intermèdia $v_{t}$ amb domini $D$ en el $t$ -ª capa oculta, un operador integral del nucli ${\mathcal {K}}_{\phi }$ es defineix com

$({\mathcal {K}}_{\phi }v_{t})(x):=\int _{D}\kappa _{\phi }(x,y,v_{t}(x),v_{t}(y))v_{t}(y)dy,$

on el nucli $\kappa _{\phi }$ és una xarxa neuronal implícita aprendre, parametritzada per $\phi$.

A la pràctica, sovint se li dóna la funció d'entrada a l'operador neuronal amb una resolució específica. Per exemple, considereu l'entorn on es fa l'avaluació $v_{t}$ a les $n$ punts $\{y_{j}\}_{j}^{n}$. Manllevant dels mètodes d'aproximació integral de Nyström com la integració de la suma de Riemann i la quadratura gaussiana, l'operació integral anterior es pot calcular de la següent manera:

$\int _{D}\kappa _{\phi }(x,y,v_{t}(x),v_{t}(y))v_{t}(y)dy\approx \sum _{j}^{n}\kappa _{\phi }(x,y_{j},v_{t}(x),v_{t}(y_{j}))v_{t}(y_{j})\Delta _{y_{j}},$

on $\Delta _{y_{j}}$ és el volum de la subàrea o el pes en quadratura associat al punt $y_{j}$. Així, una capa simplificada es pot calcular com

$v_{t+1}(x)\approx \sigma \left(\sum _{j}^{n}\kappa _{\phi }(x,y_{j},v_{t}(x),v_{t}(y_{j}))v_{t}(y_{j})\Delta _{y_{j}}+W_{t}(v_{t}(y_{j}))+b_{t}(x)\right).$

L'aproximació anterior, juntament amb la parametrització $\kappa _{\phi }$ com a xarxa neuronal implícita, dóna lloc a l'operador neural gràfic (GNO).

Hi ha hagut diverses parametritzacions d'operadors neuronals per a diferents aplicacions. Normalment es diferencien en la seva parametrització $\kappa$. La instanciació més popular és l'operador neural de Fourier (FNO). FNO agafa $\kappa _{\phi }(x,y,v_{t}(x),v_{t}(y)):=\kappa _{\phi }(x-y)$ i aplicant el teorema de convolució s'arriba a la parametrització següent de l'operador integral del nucli:

$({\mathcal {K}}_{\phi }v_{t})(x)={\mathcal {F}}^{-1}(R_{\phi }\cdot ({\mathcal {F}}v_{t}))(x),$

on ${\mathcal {F}}$ representa la transformada de Fourier i $R_{\phi }$ representa la transformada de Fourier d'alguna funció periòdica $\kappa _{\phi }$. És a dir, FNO parametritza la integració del nucli directament a l'espai de Fourier, utilitzant un nombre prescrit de modes de Fourier. Quan la quadrícula a la qual es presenta la funció d'entrada és uniforme, la transformada de Fourier es pot aproximar mitjançant la transformada de Fourier discreta (DFT) amb freqüències per sota d'algun llindar especificat. La transformada de Fourier discreta es pot calcular mitjançant una implementació de transformada de Fourier ràpida (FFT).