Aprenentatge per diferències temporals

L'aprenentatge per diferències temporals (amb acrònim anglès TD) fa referència a una classe de mètodes d'aprenentatge de reforç sense models que aprenen arrancant a partir de l'estimació actual de la funció de valor. Aquests mètodes agafen mostres de l'entorn, com els mètodes de Monte Carlo, i realitzen actualitzacions basades en estimacions actuals, com els mètodes de programació dinàmica.

Mentre que els mètodes de Monte Carlo només ajusten les seves estimacions un cop es coneix el resultat final, els mètodes TD ajusten les prediccions per fer coincidir les prediccions posteriors i més precises sobre el futur abans que es conegui el resultat final. Aquesta és una forma d'arrencada, tal com s'il·lustra amb l'exemple següent:

Suposem que voleu predir el temps per dissabte i teniu algun model que prediu el temps del dissabte, tenint en compte el temps de cada dia de la setmana. En el cas estàndard, esperaries fins dissabte i després ajustaries tots els teus models. Tanmateix, quan sigui, per exemple, divendres, hauríeu de tenir una bona idea del temps que farà dissabte i així poder canviar, per exemple, el model del dissabte abans que arribi el dissabte.

Els mètodes de diferència temporal estan relacionats amb el model de diferència temporal de l'aprenentatge animal.

Formulació matemàtica

El mètode tabular TD(0) és un dels mètodes TD més senzills. És un cas especial de mètodes d'aproximació estocàstica més generals. Estima la funció de valor d'estat d'un procés de decisió de Markov d'estat finit (MDP) sota una política $\pi$. Deixar $V^{\pi }$ denoteu la funció de valor d'estat del MDP amb estats $(s_{t})_{t\in \mathbb {N} }$, recompenses $(r_{t})_{t\in \mathbb {N} }$ i taxa de descompte $\gamma$ sota la política $\pi$:

$V^{\pi }(s)=E_{a\sim \pi }\left\{\sum _{t=0}^{\infty }\gamma ^{t}r_{t}(a_{t}){\Bigg |}s_{0}=s\right\}.$

Eliminarem l'acció de la notació per comoditat. $V^{\pi }$ satisfà l'equació de Hamilton-Jacobi-Bellman:

$V^{\pi }(s)=E_{\pi }\{r_{0}+\gamma V^{\pi }(s_{1})|s_{0}=s\},$

tan $r_{0}+\gamma V^{\pi }(s_{1})$ és una estimació imparcial de $V^{\pi }(s)$. Aquesta observació motiva el següent algorisme per estimar $V^{\pi }$.

L'algorisme comença inicialitzant una taula $V(s)$ arbitràriament, amb un valor per a cada estat del MDP. Una taxa d'aprenentatge positiva $\alpha$ és escollit.

Aleshores avaluem repetidament la política $\pi$, obteniu una recompensa $r$ i actualitzeu la funció de valor per a l'estat antic utilitzant la regla:

$V(s)\leftarrow V(s)+\alpha (\overbrace {r+\gamma V(s')} ^{\text{The TD target}}-V(s))$

on $s$ i $s'$ són els estats antic i nou, respectivament. El valor $r+\gamma V(s')$ es coneix com l'objectiu TD.