Màquina de Turing neural
Una màquina de Turing neural (amb acrònim anglès NTM) és un model de xarxa neuronal recurrent d'una màquina de Turing. L'enfocament va ser publicat per Alex Graves i altres el 2014.[1] Els NTM combinen les capacitats de concordança de patrons difusos de les xarxes neuronals amb el poder algorítmic dels ordinadors programables.
Un NTM té un controlador de xarxa neuronal acoblat a recursos de memòria externs, amb els quals interactua mitjançant mecanismes d'atenció. Les interaccions de memòria són diferenciables d'extrem a extrem, cosa que permet optimitzar-les mitjançant el descens de gradients.[2] Un NTM amb un controlador de xarxa de memòria a llarg termini (LSTM) pot inferir algorismes simples com ara la còpia, l'ordenació i la recuperació associativa només a partir d'exemples.[3]
Els autors del document original de NTM no van publicar el seu codi font.[4] La primera implementació estable de codi obert es va publicar el 2018 a la 27a Conferència Internacional sobre Xarxes Neuronals Artificials, rebent el premi al millor article.[5][6] Existeixen altres implementacions de codi obert de NTM, però a partir del 2018 no són prou estables per a l'ús de producció.[7][8][9][10][11][12][13] Els desenvolupadors informen que els gradients de la seva implementació de vegades es converteixen en NaN durant l'entrenament per motius desconeguts i fan que l'entrenament falli; [11] [12] [10] informen de convergència lenta; [8] [7] o no informen de la velocitat d'aprenentatge de la seva implementació.[13] [9]
Els ordinadors neuronals diferenciables són una conseqüència de les màquines Neural Turing, amb mecanismes d'atenció que controlen on està activa la memòria i milloren el rendiment.[14]
Referències
[modifica]- ↑ Neural Turing Machines, 2014.
- ↑ «Deep Minds: An Interview with Google's Alex Graves & Koray Kavukcuoglu» (en anglès). [Consulta: 17 maig 2016].
- ↑ Neural Turing Machines, 2014.
- ↑ Neural Turing Machines, 2014.
- ↑ Collier, Mark & Beel, Joeran, Implementing Neural Turing Machines, ISBN 9783030014230, DOI 10.1007/978-3-030-01424-7_10
- ↑ «MarkPKCollier/NeuralTuringMachine» (en anglès). GitHub. [Consulta: 20 octubre 2018].
- ↑ 7,0 7,1 «snowkylin/ntm» (en anglès). GitHub. [Consulta: 20 octubre 2018].
- ↑ 8,0 8,1 «chiggum/Neural-Turing-Machines» (en anglès). GitHub. [Consulta: 20 octubre 2018].
- ↑ 9,0 9,1 «yeoedward/Neural-Turing-Machine» (en anglès). GitHub, 13-09-2017. [Consulta: 20 octubre 2018].
- ↑ 10,0 10,1 «camigord/Neural-Turing-Machine» (en anglès). GitHub. [Consulta: 20 octubre 2018].
- ↑ 11,0 11,1 «carpedm20/NTM-tensorflow» (en anglès). GitHub. [Consulta: 20 octubre 2018].
- ↑ 12,0 12,1 «snipsco/ntm-lasagne» (en anglès). GitHub. [Consulta: 20 octubre 2018].
- ↑ 13,0 13,1 «loudinthecloud/pytorch-ntm» (en anglès). GitHub. [Consulta: 20 octubre 2018].
- ↑ Administrator. «DeepMind's Differentiable Neural Network Thinks Deeply» (en anglès). www.i-programmer.info. [Consulta: 20 octubre 2016].