Equació de Bellman
Una equació de Bellman, anomenada després de Richard E. Bellman, és una condició necessària per a l'optimitat associada al mètode d'optimització matemàtica conegut com a programació dinàmica.[1] Escriu el "valor" d'un problema de decisió en un moment determinat en termes de la recompensa d'algunes opcions inicials i el "valor" del problema de decisió restant que resulta d'aquestes eleccions inicials. Això trenca un problema d'optimització dinàmica en una seqüència de subproblemes més simples, tal com prescriu el "principi d'optimitat" de Bellman.[2] L'equació s'aplica a estructures algebraiques amb un ordenament total; per a estructures algebraiques amb una ordenació parcial, es pot utilitzar l'equació genèrica de Bellman.
L'equació de Bellman es va aplicar per primera vegada a la teoria del control d'enginyeria ia altres temes de matemàtiques aplicades, i posteriorment es va convertir en una eina important en la teoria econòmica; encara que els conceptes bàsics de programació dinàmica estan prefigurats a la Teoria dels jocs i el comportament econòmic de John von Neumann i Oskar Morgenstern i l'anàlisi seqüencial d'Abraham Wald.El terme "equació de Bellman" normalment es refereix a l'equació de programació dinàmica associada amb problemes d'optimització en temps discret.[3] En problemes d'optimització en temps continu, l'equació anàloga és una equació diferencial parcial que s'anomena equació de Hamilton–Jacobi–Bellman.[4][3]
En un temps discret, qualsevol problema d'optimització de diverses etapes es pot resoldre mitjançant l'anàlisi de l'equació de Bellman adequada. L'equació de Bellman adequada es pot trobar introduint noves variables d'estat (augment d'estat). Tanmateix, el problema d'optimització multietapa d'estat augmentat resultant té un espai d'estat dimensional més gran que el problema d'optimització multietapa original, un problema que pot fer que el problema augmentat sigui insoluble a causa de la "maledicció de la dimensionalitat". Alternativament, s'ha demostrat que si la funció de cost del problema d'optimització multietapa satisfà una estructura "separable cap enrere", aleshores es pot trobar l'equació de Bellman adequada sense augmentar l'estat.[5]
Referències
[modifica]- ↑ Dixit, Avinash K. Optimization in Economic Theory. 2a edició. Oxford University Press, 1990, p. 164. ISBN 0-19-877211-4.
- ↑ Kirk, Donald E. Optimal Control Theory: An Introduction. Prentice-Hall, 1970, p. 55. ISBN 0-13-638098-0.
- ↑ 3,0 3,1 Kirk 1970
- ↑ Kamien, Morton I. Dynamic Optimization: The Calculus of Variations and Optimal Control in Economics and Management. Second. Amsterdam: Elsevier, 1991, p. 261. ISBN 0-444-01609-0.
- ↑ Jones, Morgan; Peet, Matthew M. Automatica, 127, 2021, pàg. 109510. arXiv: 2006.08175. DOI: 10.1016/j.automatica.2021.109510.