Mínims quadrats lineals

Mínims quadrats lineals (LLS) és l'aproximació de mínims quadrats de funcions lineals a dades. És un conjunt de formulacions per resoldre problemes estadístics implicats en la regressió lineal, que inclou variants per a residus ordinaris (no ponderats), ponderats i generalitzats (correlacionats). Els mètodes numèrics per a mínims quadrats lineals inclouen la inversió de la matriu de les equacions normals i els mètodes de descomposició ortogonal.

Formulacions

Les tres formulacions principals de mínims quadrats lineals són:

• Els mínims quadrats ordinaris (MCO) són l'estimador més comú. Les estimacions OLS s'utilitzen habitualment per analitzar dades tant experimentals com observacionals. El mètode OLS minimitza la suma de residus quadrats i condueix a una expressió de forma tancada per al valor estimat del vector de paràmetres desconegut β: $${\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y} ,$$on $\mathbf {y}$ és un vector l'i- è element del qual és la i- èma observació de la variable dependent, i $\mathbf {X}$ és una matriu l'element ij de la qual és la i - èsa observació de la j - èsa variable independent. L'estimador és imparcial i coherent si els errors tenen variància finita i no estan correlacionats amb els regressors:$$\operatorname {E} [\,\mathbf {x} _{i}\varepsilon _{i}\,]=0,$$on $\mathbf {x} _{i}$ és la transposició de la fila i de la matriu $\mathbf {X} .$ També és eficient en el supòsit que els errors tenen variància finita i són homoscedàstics, el que significa que E[ε_i²|x_i] no depèn de i. La condició que els errors no estiguin correlacionats amb els regressors es complirà generalment en un experiment, però en el cas de dades observacionals, és difícil excloure la possibilitat d'una covariable z omesa que estigui relacionada tant amb les covariables observades com amb la variable resposta. L'existència d'aquesta covariable conduirà generalment a una correlació entre els regressors i la variable de resposta i, per tant, a un estimador inconsistent de β . La condició d'homoscedasticitat pot fallar amb dades experimentals o observacionals. Si l'objectiu és la inferència o el modelatge predictiu, el rendiment de les estimacions de MCO pot ser deficient si hi ha multicolinearitat, tret que la mida de la mostra sigui gran.
• Els mínims quadrats ponderats (WLS) s'utilitzen quan hi ha heteroscedasticitat en els termes d'error del model.
• Els mínims quadrats generalitzats (GLS) és una extensió del mètode MCO, que permet una estimació eficient de β quan hi ha heteroscedasticitat, correlacions o tots dos entre els termes d'error del model, sempre que es conegui la forma d'heteroscedasticitat i correlació. independentment de les dades. Per gestionar l'heteroscedasticitat quan els termes d'error no estan correlacionats entre si, GLS minimitza un anàleg ponderat a la suma de residus al quadrat de la regressió OLS, on el pes ^del cas i és inversament proporcional a var (ε_i). Aquest cas especial de GLS s'anomena "mínims quadrats ponderats". La solució GLS a un problema d'estimació és$${\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\mathsf {T}}{\boldsymbol {\Omega }}^{-1}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}{\boldsymbol {\Omega }}^{-1}\mathbf {y} ,$$on Ω és la matriu de covariància dels errors. El GLS es pot veure com l'aplicació d'una transformació lineal a les dades de manera que es compleixin els supòsits d'OLS per a les dades transformades. Perquè s'apliqui GLS, s'ha de conèixer l'estructura de covariància dels errors fins a una constant multiplicativa.

Aplicacions

• Ajust polinomial : els models són polinomis en una variable independent, x :
  • Línia recta: $f(x,{\boldsymbol {\beta }})=\beta _{1}+\beta _{2}x$.
  • Quadràtic: $f(x,{\boldsymbol {\beta }})=\beta _{1}+\beta _{2}x+\beta _{3}x^{2}$.
  • Polinomis cúbics, quàrtics i superiors. Per a la regressió amb polinomis d'ordre alt, es recomana l'ús de polinomis ortogonals.
• Suavització i diferenciació numèrica : aquesta és una aplicació de l'ajust polinòmic.
• Multinomis en més d'una variable independent, inclòs l'ajust superficial
• Ajust de corba amb B-splines
• Quimiometria, Corba de calibratge, Addició estàndard, Gran plot, anàlisi de mescles