Classificador lineal

En aquest cas, els punts sòlids i buits es poden classificar correctament mitjançant qualsevol nombre de classificadors lineals. H1 (blau) els classifica correctament, igual que H2 (vermell). H2 es podria considerar "millor" en el sentit que també està més allunyat dels dos grups. H3 (verd) no classifica correctament els punts.

En el camp de l'aprenentatge automàtic, l'objectiu de la classificació estadística és utilitzar les característiques d'un objecte per identificar a quina classe (o grup) pertany. Un classificador lineal ho aconsegueix prenent una decisió de classificació basada en el valor d'una combinació lineal de les característiques. Les característiques d'un objecte també es coneixen com a valors de característiques i normalment es presenten a la màquina en un vector anomenat vector de característiques. Aquests classificadors funcionen bé per a problemes pràctics com la classificació de documents i, en general, per a problemes amb moltes variables (característiques), assolint nivells de precisió comparables als classificadors no lineals alhora que triguen menys temps per entrenar-los i utilitzar-los.

Si el vector de característiques d'entrada al classificador és un vector real ${\vec {x}}$, aleshores la puntuació de sortida és

$y=f({\vec {w}}\cdot {\vec {x}})=f\left(\sum _{j}w_{j}x_{j}\right),$

on ${\vec {w}}$ és un vector real de pesos i f és una funció que converteix el producte escalar dels dos vectors en la sortida desitjada. (En altres paraules, ${\vec {w}}$ és un mapeig funcional lineal o d'una forma ${\vec {x}}$ a R). El vector pes ${\vec {w}}$ s'aprèn d'un conjunt de mostres d'entrenament etiquetades. Sovint f és una funció llindar, que mapeja tots els valors de ${\vec {w}}\cdot {\vec {x}}$ per sobre d'un determinat llindar a la primera classe i tots els altres valors a la segona classe; per exemple,

$f(\mathbf {x} )={\begin{cases}1&{\text{if }}\ \mathbf {w} ^{T}\cdot \mathbf {x} >\theta ,\\0&{\text{otherwise}}\end{cases}}$

El superíndex T indica la transposició i $\theta$ és un llindar escalar. Una f més complexa podria donar la probabilitat que un element pertanyi a una classe determinada.

Hi ha dues grans classes de mètodes per determinar els paràmetres d'un classificador lineal ${\vec {w}}$. Poden ser models generatius i discriminatius. Els mètodes de la distribució de probabilitat conjunta del primer model, mentre que els mètodes de l'últim model funcionen de densitat condicional $P({\rm {class}}|{\vec {x}})$. Alguns exemples d'aquests algorismes inclouen:

• Anàlisi discriminant lineal (LDA): suposa models gaussians de densitat condicional.
• Classificador de Bayes primari amb models d'esdeveniments de Bernoulli multinomials o multivariants.