Classificador Bayes primari

Un "Classificador Bayes primari" és una manera senzilla i econòmicament econòmica d'estimar la probabilitat que es pugui atribuir una determinada combinació de característiques a una classe determinada. A mesura que s'introdueixen més mesures al classificador, l'estimació s'actualitza.

Funcions de versemblança $p(\mathbf {x} \mid Y)$, Matriu de confusió i corba ROC. Per al classificador Bayes ingenu i tenint en compte que les probabilitats a priori $p(Y)$ són els mateixos per a totes les classes, aleshores el límit de decisió (línia verda) es col·locaria en el punt on es tallen les dues densitats de probabilitat, a causa de $p(Y\mid \mathbf {x} )={\frac {p(Y)\ p(\mathbf {x} \mid Y)}{p(\mathbf {x} )}}\propto p(\mathbf {x} \mid Y)$.

En estadística, els classificadors Bayes primaris són una família de " classificadors probabilistes" simples basats en l'aplicació del teorema de Bayes amb supòsits d'independència (primari) forts entre les característiques (vegeu el classificador de Bayes). Es troben entre els models de xarxa bayesians més simples, però, juntament amb l'estimació de la densitat del nucli, poden assolir alts nivells de precisió.

En moltes aplicacions pràctiques, l'estimació de paràmetres per a models de Bayes naïf utilitza el mètode de la màxima probabilitat; en altres paraules, es pot treballar amb el model de Bayes ingenu sense acceptar la probabilitat bayesiana ni utilitzar cap mètode bayesià.

Malgrat el seu disseny ingenu i supòsits aparentment simplificats, els classificadors Bayes primaris han funcionat força bé en moltes situacions complexes del món real. L'any 2004, una anàlisi del problema de classificació bayesià va mostrar que hi ha raons teòriques sòlides per a l'eficàcia aparentment poc plausible dels classificadors Bayes primaris. Tot i així, una comparació exhaustiva amb altres algorismes de classificació l'any 2006 va demostrar que la classificació de Bayes superava altres enfocaments, com ara arbres potenciats o boscos aleatoris.Un avantatge de Bayes primari és que només requereix un petit nombre de dades d'entrenament per estimar els paràmetres necessaris per a la classificació.

De manera abstracta, Bayes ingenu és un model de probabilitat condicional: donada una instància de problema que cal classificar, representada per un vector $\mathbf {x} =(x_{1},\ldots ,x_{n})$ representant algunes n característiques (variables independents), assigna a aquesta instància probabilitats

$p(C_{k}|x_{1}.....x_{n})$

per a cadascun dels K possibles resultats o classes $C_{k}$.

El problema de la formulació anterior és que si el nombre de característiques n és gran o si una característica pot prendre un gran nombre de valors, aleshores basar aquest model en taules de probabilitats és inviable. Per tant, cal reformular el model per fer-lo més manejable. Utilitzant el teorema de Bayes, la probabilitat condicional es pot descompondre com

$p(C_{k}\mid \mathbf {x} )={\frac {p(C_{k})\ p(\mathbf {x} \mid C_{k})}{p(\mathbf {x} )}}\,$

En anglès senzill, utilitzant la terminologia de probabilitat bayesiana, l'equació anterior es pot escriure com

${\text{posterior}}={\frac {{\text{prior}}\times {\text{likelihood}}}{\text{evidence}}}\,$

A la pràctica, només hi ha interès en el numerador d'aquesta fracció, perquè el denominador no depèn de $C$ i els valors de les característiques $x_{i}$ es donen, de manera que el denominador és efectivament constant. El numerador és equivalent al model de probabilitat conjunta.