Lasso (estadística)

En estadística i aprenentatge automàtic, lasso (operador de selecció i contracció mínima absoluta; també Lasso o LASSO) és un mètode d'anàlisi de regressió que realitza tant la selecció de variables com la regularització per tal de millorar la precisió de predicció i la interpretabilitat del model estadístic resultant. Va ser introduït originalment en geofísica, i més tard per Robert Tibshirani, que va encunyar el terme.

Lasso es va formular originalment per a models de regressió lineal. Aquest cas senzill revela una quantitat substancial sobre l'estimador. Aquests inclouen la seva relació amb la regressió de la cresta i la selecció del millor subconjunt i les connexions entre les estimacions del coeficient de lazo i l'anomenat llindar suau. També revela que (com la regressió lineal estàndard) les estimacions dels coeficients no han de ser úniques si les covariables són colineals.

Tot i que es va definir originalment per a la regressió lineal, la regularització de lazo s'estén fàcilment a altres models estadístics, inclosos els models lineals generalitzats, les equacions d'estimació generalitzades, els models de riscos proporcionals i els estimadors M. La capacitat de Lasso per dur a terme la selecció de subconjunts depèn de la forma de la restricció i té una varietat d'interpretacions que inclouen en termes de geometria, estadística bayesiana i anàlisi convexa.

El LASSO està estretament relacionat amb l'eliminació de sorolls de recerca de base.

Història

Es va introduir Lasso per tal de millorar la precisió de predicció i la interpretabilitat dels models de regressió. Selecciona un conjunt reduït de covariables conegudes per utilitzar-les en un model.

Lasso es va desenvolupar de manera independent a la literatura de geofísica el 1986, basant-se en treballs previs que utilitzaven el $\ell ^{1}$ penalització tant per l'ajustament com per la penalització dels coeficients. L'estadístic Robert Tibshirani el va redescobrir i popularitzar de manera independent el 1996, basant-se en el garrot no negatiu de Breiman.

Forma bàsica

Mínims quadrats

Considereu una mostra formada per N casos, cadascun dels quals consta de p covariables i un únic resultat. Deixar $y_{i}$ ser el resultat i $x_{i}:=(x_{1},x_{2},\ldots ,x_{p})_{i}^{T}$ sigui el vector covariable per al ^cas i . Llavors l'objectiu del lazo és resoldre

$\min _{\beta _{0},\beta }\left\{\sum _{i=1}^{N}(y_{i}-\beta _{0}-x_{i}^{T}\beta )^{2}\right\}{\text{ subject to }}\sum _{j=1}^{p}|\beta _{j}|\leq t.$

Aquí $\beta _{0}$ és el coeficient constant, $\beta :=(\beta _{1},\beta _{2},\ldots ,\beta _{p})$ és el vector coeficient, i $t$ és un paràmetre lliure predeterminat que determina el grau de regularització.

$X$ sigui la matriu de covariables, de manera que $X_{ij}=(x_{i})_{j}$ i $x_{i}^{T}$ és ^la ia fila de $X$, l'expressió es pot escriure de manera més compacta com

$\min _{\beta _{0},\beta }\left\{\left\|y-\beta _{0}-X\beta \right\|_{2}^{2}\right\}{\text{ subject to }}\|\beta \|_{1}\leq t,$

on $\|u\|_{p}=\left(\sum _{i=1}^{N}|u_{i}|^{p}\right)^{1/p}$ és l'estàndard $\ell ^{p}$ norma.

Covariables ortonormals

Ara es poden considerar algunes propietats bàsiques de l'estimador de lazo.

Suposant primer que les covariables són ortonormals de manera que $x_{i}^{T}x_{j}=\delta _{ij}$, on $\delta _{ij}$ és el delta de Kronecker o, de manera equivalent, $X^{T}X=I$, llavors utilitzant mètodes de subgradient es pot demostrar que

${\begin{aligned}{\hat {\beta }}_{j}={}&S_{N\lambda }({\hat {\beta }}_{j}^{\text{OLS}})={\hat {\beta }}_{j}^{\text{OLS}}\max \left(0,1-{\frac {N\lambda }{|{\hat {\beta }}_{j}^{\text{OLS}}|}}\right)\\&{\text{ where }}{\hat {\beta }}^{\text{OLS}}=(X^{T}X)^{-1}X^{T}y=X^{T}y\end{aligned}}$

Forma general

La regularització del lazo es pot estendre a altres funcions objectives, com ara les dels models lineals generalitzats, les equacions d'estimació generalitzades, els models de riscos proporcionals i els estimadors M. Donada la funció objectiu

${\frac {1}{N}}\sum _{i=1}^{N}f(x_{i},y_{i},\alpha ,\beta )$

la versió regularitzada amb lazo de l'estimador és la solució a

$\min _{\alpha ,\beta }{\frac {1}{N}}\sum _{i=1}^{N}f(x_{i},y_{i},\alpha ,\beta ){\text{ subject to }}\|\beta \|_{1}\leq t$

on només $\beta$ es penalitza mentre $\alpha$ és lliure d'assumir qualsevol valor permès, igual que $\beta _{0}$ no va ser penalitzat en el cas bàsic.

Interpretacions

Formes de les regions de restricció per a la regressió de lazo i cresta.

Interpretació geomètrica

Lasso pot posar els coeficients a zero, mentre que la regressió de cresta superficialment semblant no. Això es deu a la diferència en la forma dels seus límits de restricció. Tant la regressió de lazo com la de cresta es poden interpretar com una minimització de la mateixa funció objectiu.

Interpretació bayesiana

Les distribucions de Laplace tenen un pic marcat a la seva mitjana amb més densitat de probabilitat concentrada allà en comparació amb una distribució normal.

De la mateixa manera que la regressió de cresta es pot interpretar com una regressió lineal per a la qual els coeficients s'han assignat distribucions anteriors normals, lasso es pot interpretar com una regressió lineal per a la qual els coeficients tenen distribucions anteriors de Laplace. La distribució de Laplace té un pic marcat a zero (la seva primera derivada és discontínua a zero) i concentra la seva massa de probabilitat més a prop de zero que la distribució normal. Això proporciona una explicació alternativa de per què el lazo tendeix a posar alguns coeficients a zero, mentre que la regressió de cresta no ho fa.