Optimització d'hiperparàmetres

Cerca en quadrícula a través de diferents valors de dos hiperparàmetres. Per a cada hiperparàmetre, es consideren 10 valors diferents, de manera que s'avaluen i es comparen un total de 100 combinacions diferents. Els contorns blaus indiquen regions amb resultats forts, mentre que els vermells mostren regions amb resultats pobres.

En l'aprenentatge automàtic, l'optimització d'hiperparàmetres o l'ajustament és el problema de triar un conjunt d'hiperparàmetres òptims per a un algorisme d'aprenentatge. Un hiperparàmetre és un paràmetre el valor del qual s'utilitza per controlar el procés d'aprenentatge. Per contra, s'aprenen els valors d'altres paràmetres (normalment els pesos dels nodes).

Cerca aleatòria entre diferents combinacions de valors per a dos hiperparàmetres. En aquest exemple, s'avaluen 100 opcions aleatòries diferents. Les barres verdes mostren que es consideren més valors individuals per a cada hiperparàmetre en comparació amb una cerca de quadrícula.

El mateix tipus de model d'aprenentatge automàtic pot requerir diferents restriccions, pesos o taxes d'aprenentatge per generalitzar diferents patrons de dades. Aquestes mesures s'anomenen hiperparàmetres i s'han d'ajustar perquè el model pugui resoldre de manera òptima el problema de l'aprenentatge automàtic. L'optimització d'hiperparàmetres troba una tupla d'hiperparàmetres que produeix un model òptim que minimitza una funció de pèrdua predefinida en dades independents donades. La funció objectiu pren una tupla d'hiperparàmetres i retorna la pèrdua associada. La validació creuada s'utilitza sovint per estimar aquest rendiment de generalització.

La forma tradicional de realitzar l'optimització d'hiperparàmetres ha estat la cerca de graella, o un escombrat de paràmetres, que és simplement una cerca exhaustiva a través d'un subconjunt especificat manualment de l'espai d'hiperparàmetres d'un algorisme d'aprenentatge. Un algorisme de cerca de graella s'ha de guiar per alguna mètrica de rendiment, normalment mesurada per validació creuada al conjunt d'entrenament o avaluació en un conjunt de validació de retenció.

Mètodes com l'optimització bayesiana exploren de manera intel·ligent l'espai de les opcions potencials d'hiperparàmetres decidint quina combinació explorar a continuació basant-se en observacions anteriors.

La cerca aleatòria substitueix l'enumeració exhaustiva de totes les combinacions seleccionant-les aleatòriament. Això es pot aplicar simplement a la configuració discreta descrita anteriorment, però també es generalitza a espais continus i mixtos. Pot superar la cerca de Grid, especialment quan només un nombre reduït d'hiperparàmetres afecta el rendiment final de l'algorisme d'aprenentatge automàtic. En aquest cas, es diu que el problema d'optimització té una dimensionalitat intrínseca baixa. La cerca aleatòria també és paral·lelament vergonyosa i, a més, permet la inclusió de coneixements previs especificant la distribució a partir de la qual es mostren. Malgrat la seva senzillesa, la cerca aleatòria segueix sent una de les línies de base importants amb les quals comparar el rendiment dels nous mètodes d'optimització d'hiperparàmetres.

L'optimització bayesiana és un mètode d'optimització global per a funcions de caixa negra sorolloses. Aplicada a l'optimització d'hiperparàmetres, l'optimització bayesiana construeix un model probabilístic del mapeig de funcions des dels valors dels hiperparàmetres fins a l'objectiu avaluat en un conjunt de validació. Mitjançant l'avaluació iterativa d'una configuració d'hiperparàmetres prometedora basada en el model actual, i després actualitzar-la, l'optimització bayesiana pretén recollir observacions que revelin la màxima informació possible sobre aquesta funció i, en particular, la ubicació de l'òptim. Intenta equilibrar l'exploració (hiperparàmetres per als quals el resultat és més incert) i l'explotació (hiperparàmetres que s'esperen propers a l'òptim). A la pràctica, s'ha demostrat que l'optimització bayesiana obté millors resultats en menys avaluacions en comparació amb la cerca en graella i la cerca aleatòria, a causa de la capacitat de raonar sobre la qualitat dels experiments abans d'executar-los.