Precisió i exhaustivitat

Precisió i exhaustivitat

En reconeixement de patrons, recuperació d'informació i classificació (aprenentatge automàtic), la precisió i l'exhaustivitat són mètriques de rendiment que s'apliquen a les dades recuperades d'un magatzem de dades, un corpus o un espai mostral.

La precisió és la fracció de casos veritablement positius entre els casos seleccionats com a positius.

$${\text{Precisió}}={\frac {\text{Instàncies rellevants recuperades}}{{\text{Totes les instàncies }}{\textbf {recuperades}}}}$$

L'exhaustivitat (també anomenada sensibilitat, quan es compara amb l'especificitat) és la fracció de casos veritablement positius entre els casos rellevants.

$${\text{Exhaustivitat}}={\frac {\text{Instàncies rellevants recuperades}}{{\text{Totes les instàncies }}{\textbf {rellevants}}}}$$

Tant la precisió com l'exhaustivitat són mesures de la rellevància.

En termes de falsos positius i falsos negatius, s'expressen amb les fórmules següents:$${\begin{aligned}{\text{Precisió}}&={\frac {tp}{tp+fp}}\\{\text{Exhaustivitat}}&={\frac {tp}{tp+fn}}\,\end{aligned}}$$

Exemples

Suposem que un programa d'ordinador per a reconèixer gossos en fotografies identifica 8 gossos en una fotografia que conté 12 gossos i alguns gats. Dels 8 identificats com a gossos, 5 són realment gossos (veritables positius), mentre que la resta són gats (falsos positius). La precisió del programa és 5/8 i l'exhaustivitat és 5/12.

Suposem un motor de cerca que retorna 30 pàgines. D'aquestes, només 20 són rellevants, mentre que en falten 40 de rellevants per retornar. La precisió del motor és 20/30 = 2/3 i l'exhaustivitat és 20/60 = 1/3. Així doncs, en aquest cas, la precisió és "com són d'útils els resultats" i l'exhaustivitat és "com són de complets els resultats".

Definició

En contextos de recuperació d'informació, la precisió i l'exhaustivitat es defineixen en termes d'un conjunt de documents recuperats (per exemple, la llista de documents produïts per un motor de cerca a una consulta) i un conjunt de documents rellevants (per exemple, la llista de tots els documents a Internet que són rellevants per un tema). Les mesures van ser definides a Kent et al. (1955).

Precisió

En el camp de la recuperació d'informació, la precisió és la fracció de documents recuperats que són rellevants per a la consulta:$${\text{precisió}}={\frac {|\{{\text{documents rellevants}}\}\cap \{{\text{documents recuperats}}\}|}{|\{{\text{documents recuperats}}\}|}}$$Per exemple, per una cerca de text en un conjunt de documents, la precisió és el nombre de resultats correctes dividits pel nombre de resultats retornats.

La precisió té en compte tots els documents recuperats, però també es pot avaluar en un punt de tall n donat, considerant només els n primers resultats retornats pel sistema. Aquesta mesura s'anomena precisió a n.

La precisió s'usa juntament amb l'exhaustivitat, el percentatge de tots els documents rellevants que són recuperats per la recerca. Les dues mesures són a vegades usades juntes en la puntuació F1 (o mesura F) per a proporcionar una sola mesura per a tot el sistema.

Observeu que el significat de precisió en el camp de la recuperació d'informació difereix de la definició d'exactitud i precisió en altres branques científiques i tecnològiques.

Exhaustivitat

En el camp de la recuperació d'informació, l'exhaustivitat és la fracció dels documents rellevants que són recuperats per la consulta: ⁣$${\text{exhaustivitat}}={\frac {|\{{\text{documents rellevants}}\}\cap \{{\text{documents recuperats}}\}|}{|\{{\text{documents rellevants}}\}|}}$$Per exemple, per una cerca de text a un conjunt de documents, l'exhaustivitat és el nombre de resultats correctes dividits pel nombre de resultats que s'haurien d'haver retornat.

En classificació binària, l'exhaustivitat s'anomena sensibilitat. Pot ser vista com la probabilitat que un document rellevant sigui recuperat per la consulta.

És trivial d'aconseguir una exhaustivitat del 100% si es retornen tots els documents en resposta a qualsevol consulta. Per això, l'exhaustivitat per si sola no és una mesura prou bona, sinó que cal considerar també el nombre de documents no rellevants, calculant la precisió, per exemple.

Mesura F

Una mesura que combina la precisió i l'exhaustivitat és la seva mitjana harmònica, anomenada mesura F o puntuació F equilibrada:$$F=2\cdot {\frac {\mathrm {precisio} \cdot \mathrm {exhaustivitat} }{\mathrm {precisio} +\mathrm {exhaustivitat} }}$$Aquesta mesura és aproximadament la mitjana de la precisió i l'exhaustivitat quan els valors són propers. Més generalment, és la mitjana harmònica de la precisió i l'exhaustivitat, que és el quadrat de la mitjana geomètrica dividida per l'aritmètica. La puntuació F pot ser criticada per diverses raons en circumstàncies particulars a causa del seu biaix com a avaluació mètrica.

És el cas particular $F_{1}$ de la mesura general $F_{\beta }$ (per valors reals no negatius de $\beta$):$$F_{\beta }=(1+\beta ^{2})\cdot {\frac {\mathrm {precisio} \cdot \mathrm {exhaustivitat} }{\beta ^{2}\cdot \mathrm {precisio} +\mathrm {exhaustivitat} }}$$Dues mesures $F$ utilitzades sovint són la mesura $F_{2}$, que posa més de pes a l'exhaustivitat que a la precisió, i la mesura $F_{0.5}$, que posa més d'èmfasi en la precisió que en l'exhaustivitat.

La mesura $F$ va ser derivada per van Rijsbergen (1979) de manera que $F_{\beta }$ mesurés "l'efectivitat de recuperació respecte a un usuari que considera $\beta$ vegades més important l'exhaustivitat que la precisió". Es basa en la mesura d'efectivitat de van Rijsbergen $E_{\alpha }=1-{\frac {1}{{\frac {\alpha }{P}}+{\frac {1-\alpha }{R}}}}$, on el segon terme és la mitjana harmònica ponderada de la precisió i l'exhaustivitat amb pesos $(\alpha ,1-\alpha )$. La relació és $F_{\beta }=1-E_{\alpha }$ on $\alpha ={\frac {1}{1+\beta ^{2}}}$.

Bibliografia

• Kent, Allen; Berry, Madeline M.; Luehrs, Jr.; Fred, U.; Perry, J. W. «Machine literature searching VIII. Operational criteria for designing information retrieval systems» (en anglès). American Documentation, 6, 2, 1955, pàg. 93. DOI: 10.1002/asi.5090060209.