Corba d'aprenentatge (aprenentatge automàtic)

En l'aprenentatge automàtic, una corba d'aprenentatge (o corba d'entrenament) representa el valor òptim de la funció de pèrdua d'un model per a un conjunt d'entrenament amb aquesta funció de pèrdua avaluada en un conjunt de dades de validació amb els mateixos paràmetres que va produir la funció òptima.^[1] És una eina per esbrinar quant es beneficia un model de màquina afegint més dades d'entrenament i si l'estimador pateix més un error de variància o un error de biaix. Si tant la puntuació de validació com la puntuació d'entrenament convergeixen a un valor que és massa baix amb l'augment de la mida del conjunt d'entrenament, no es beneficiarà gaire de més dades d'entrenament.^[2]

La corba d'aprenentatge automàtic és útil per a molts propòsits, com ara comparar diferents algorismes,^[3] triar els paràmetres del model durant el disseny,^[4] ajustar l'optimització per millorar la convergència i determinar la quantitat de dades utilitzades per a l'entrenament.^[5]

En el domini de l'aprenentatge automàtic, hi ha dues implicacions de les corbes d'aprenentatge que difereixen en l'eix x de les corbes, amb l'experiència del model representada gràficament com el nombre d'exemples d'entrenament utilitzats per a l'aprenentatge o el nombre d'iteracions utilitzades en l'entrenament del model.^[6]

Definició

Un model d'aprenentatge automàtic està produint una funció, $f(x)$ , que donada una mica d'informació, $x$ , prediu alguna variable, $y$ , a partir de les dades d'entrenament $X_{\text{train}}$ i $Y_{\text{train}}$ . És diferent de l'optimització matemàtica perquè $f$ hauria de predir bé per $x$ fora de $X_{\text{train}}$ .

Sovint limitem les funcions possibles a una família de funcions parametritzada, $\{f_{\theta }(x):\theta \in \Theta \}$ , perquè la nostra funció sigui més generalitzable ^[7] o perquè la funció tingui certes propietats com les que fan trobar un bé $f$ més fàcil, o perquè tenim alguna raó a priori per pensar que aquestes propietats són certes.^[7] ^:172

Atès que no és possible produir una funció que encaixi perfectament les dades, llavors és necessari produir una funció de pèrdua $L(f_{\theta }(X),Y')$ per mesurar com de bona és la nostra predicció. Aleshores definim un procés d'optimització que troba a $\theta$ que minimitza $L(f_{\theta }(X_{,}Y))$ denominat $\theta ^{*}(X,Y)$ .

Referències

↑ «Mohr, Felix and van Rijn, Jan N. "Learning Curves for Decision Making in Supervised Machine Learning - A Survey." arXiv preprint arXiv:2201.12150 (2022).». .
↑ scikit-learn developers. «Validation curves: plotting scores to evaluate models — scikit-learn 0.20.2 documentation» (en anglès). [Consulta: 15 febrer 2019].
↑ Madhavan, P.G. «A New Recurrent Neural Network Learning Algorithm for Time Series Prediction» (en anglès). Journal of Intelligent Systems, 1997.
↑ «Machine Learning 102: Practical Advice» (en anglès). Tutorial: Machine Learning for Astronomy with Scikit-learn. Arxivat de l'original el 2012-07-30. [Consulta: 25 febrer 2023].
↑ Meek, Christopher; Thiesson, Bo; Heckerman, David Journal of Machine Learning Research, 2, 3, Summer 2002, pàg. 397.
↑ Sammut, Claude. Encyclopedia of Machine Learning (en anglès). 1st. Springer, 28 març 2011, p. 578. ISBN 978-0-387-30768-8.
↑ ^7,0 ^7,1 Goodfellow, Ian. Deep Learning (en anglès). MIT Press, 2016-11-18, p. 108. ISBN 978-0-262-03561-3.

[abs2201.121502-1] «Mohr, Felix and van Rijn, Jan N. "Learning Curves for Decision Making in Supervised Machine Learning - A Survey." arXiv preprint arXiv:2201.12150 (2022).». .

[scikit-learn_learning-curve2-2] scikit-learn developers. «Validation curves: plotting scores to evaluate models — scikit-learn 0.20.2 documentation» (en anglès). [Consulta: 15 febrer 2019].

[3] Madhavan, P.G. «A New Recurrent Neural Network Learning Algorithm for Time Series Prediction» (en anglès). Journal of Intelligent Systems, 1997.

[4] «Machine Learning 102: Practical Advice» (en anglès). Tutorial: Machine Learning for Astronomy with Scikit-learn. Arxivat de l'original el 2012-07-30. [Consulta: 25 febrer 2023].

[5] Meek, Christopher; Thiesson, Bo; Heckerman, David Journal of Machine Learning Research, 2, 3, Summer 2002, pàg. 397.

[6] Sammut, Claude. Encyclopedia of Machine Learning (en anglès). 1st. Springer, 28 març 2011, p. 578. ISBN 978-0-387-30768-8.

[:0-7] 7,0 ^7,1 Goodfellow, Ian. Deep Learning (en anglès). MIT Press, 2016-11-18, p. 108. ISBN 978-0-262-03561-3.

[1]

[2]

[3]

[4]

[5]

[6]

[7]