Algorisme del gradient descendent

Il·lustració del gradient descendent d'una funció: els punts apunten al cercle central que és el mínim de la funció

L'algorisme del gradient descendent és un mètode iteratiu d'optimització de primer ordre per a trobar el mínim d'una funció. S'anomena descendent perquè el prenen els increments proporcionals al negatiu del gradient de la funció. Si es prenen increments positius al gradient, s'anomena gradient ascendent.

Aquest mètode s'empra sovint com una extensió de l'algorisme de retropropagació usat en l'entrenament de xarxes neuronals artificials.

Descripció

El gradient descendent es basa en el fet que si la funció multivariable $F(x)$ està definida i és derivable al voltant d'un punt $a$, llavors $F(x)$decreix de la manera més ràpida si es va des del punt $a$ en direcció del gradient negatiu de $F$en $a$, o sigui $-\nabla F(\mathbf {a} )$. Aleshores la seqüència de punts és:

$\mathbf {a} _{n+1}=\mathbf {a} _{n}-\gamma \nabla F(\mathbf {a} _{n})$

o també:

$\mathbf {x} _{n+1}=\mathbf {x} _{n}-\gamma _{n}\nabla F(\mathbf {x} _{n}),\ n\geq 0.$

i la seqüència és monotònica descendent:

$F(\mathbf {x} _{0})\geq F(\mathbf {x} _{1})\geq F(\mathbf {x} _{2})\geq \cdots ,$