Classificador Bayes

Un "Classificador Bayes primari" és una manera senzilla i econòmicament econòmica d'estimar la probabilitat que es pugui atribuir una determinada combinació de característiques a una classe determinada. A mesura que s'introdueixen més mesures al classificador, l'estimació s'actualitza.

En la classificació estadística, el classificador Bayes minimitza la probabilitat d'una classificació errònia. Amb el nom del matemàtic anglès Thomas Bayes, és un classificador derivat del teorema de Bayes. Assigna cada objecte a la classe a la qual és més probable que pertanyi, o a la qual la classificació incorre en el menor cost. Formalment, és una funció matemàtica que assigna una classe a cada punt d'un espai de característiques.

Suposem una parella $(X,Y)$ incorpora valors $\mathbb {R} ^{d}\times \{1,2,\dots ,K\}$, on $Y$ és l'etiqueta de classe de $X$. Suposem que la distribució condicional de X, donat que l'etiqueta Y pren el valor r ve donada per

$(X\mid Y=r)\sim P_{r}$

on " $\sim$ " significa "es distribueix com", i on $P_{r}$ denota una distribució de probabilitat.

Un classificador és una regla que assigna a una observació X = x una estimació del que era realment l'etiqueta no observada Y = r. En termes teòrics, un classificador és una funció mesurable $C:\mathbb {R} ^{d}\to \{1,2,\dots ,K\}$, amb la interpretació que C classifica el punt x a la classe C (x). La probabilitat de classificació errònia, o risc, d'un classificador C es defineix com $R(C)=P(C(X)\neq Y)$

El classificador de Bayes és $C^{\text{Bayes}}(x)={\underset {r\in \{1,2,\dots ,K\}}{\operatorname {argmax} }}\operatorname {P} (Y=r\mid X=x).$

A la pràctica, com en la majoria de les estadístiques, les dificultats i subtileses estan associades amb la modelització de les distribucions de probabilitat de manera eficaç; en aquest cas, $\operatorname {P} (Y=r\mid X=x)$. El classificador de Bayes és un punt de referència útil en la classificació estadística.