Paradoxa de Simpson
En probabilitat i estadística, la paradoxa de Simpson o efecte Yule-Simpson és una paradoxa en la qual una tendència que apareix en diversos grups de dades desapareix quan aquests grups es combinen i en el seu lloc apareix la tendència contrària per a les dades agregades. Aquesta situació es presenta amb freqüència en les ciències socials o en l'estadística mèdica,[1] i és causa de confusió quan a la freqüència de les dades se li assigna sense fonament una interpretació causal.[2] La paradoxa desapareix quan s'analitzen les relacions causals presents.
Encara que relativament desconeguda per a la població, la paradoxa de Simpson és ben coneguda per als estadístics i es descriu en molts llibres introductoris d'estadística.[3][4] Molts estadístics creuen que s'hauria d'informar al públic sobre resultats contraris a la intuïció com la paradoxa de Simpson.[5][6]
El fenomen va ser descrit per primera vegada per Edward H. Simpson en un article tècnic de 1951,[7] però ja havia estat descrit prèviament per Karl Pearson, et al., en 1899,[8] i per Udny Yule en 1903.[9] El nom paradoxa de Simpson va ser usat per primera vegada per Colin R. Blyth en 1972.[10]
Atès que Edward Simpson no va descobrir realment aquesta paradoxa estadística (sent un cas de la llei de eponimia de Stigler), alguns escriptors prefereixen fer ús dels termes impersonals paradoxa de la reversió i paradoxa de l'amalgamació, o a vegades l'efecte Yule-Simpson.[11]
Exemples
[modifica]Tractament de càlculs del ronyó
[modifica]- Aquest és un exemple real pres d'un estudi mèdic.[12] que compara la proporció d'èxit de dos tractaments per als càlculs renals.[13]
La següent taula mostra els percentatges d'èxit i la quantitat de tractaments que involucren càlculs grans i petits. Aquí es refereix per a Tractament A als procediments quirúrgics i per Tractament B a la nefrolitotomia percutània:
| Tractament A | Tractament B | |
|---|---|---|
| Càlculs petits | Grup 1 93 % (81/87) |
Grup 2 87 % (234/270) |
| Càlculs grans | Grup 3 73 % (192/263) |
Grup 4 69 % (55/80) |
| Global | 78 % (273/350) | 83 % (289/350) |
La conclusió paradoxal és que el tractament A és més efectiu quan s'usa tant en càlculs petits com en càlculs grans, encara que el tractament B és més efectiu quan es consideren globalment tots els càlculs. En aquest cas, la variable "amagada" (o factor de confusió) de la grandària del càlcul no es coneixia que fos important per endavant abans que s'incloguessin els seus efectes.
El tractament que es considera millor es determina mitjançant una desigualtat entre dues proporcions (èxits/total). La reversió de la desigualtat entre les proporcions crea la paradoxa de Simpson, la qual succeeix quan els següents dos efectes es donen de forma simultània.
- Les grandàries de tots dos grups, combinats quan s'ignora la variable oculta, són molt diferents. Els metges tendeixen a donar als casos severs (càlculs grans) el millor tractament (A) i als casos més lleus el tractament B. Per tant, els totals queden dominats pels grups 3 i 2 i no pels grups 1 i 4 que són molt més petits.
- La variable amagada té un major efecte en les proporcions, ja que en el percentatge d'èxit influeix en major mesura la severitat del cas que l'elecció del tractament. Per tant, el grup de pacients amb càlculs grans usant el tractament A (grup 3) té un resultat inferior al grup amb càlculs més petits encara quan en aquest últim grup s'usés el tractament B (grup 2).
Tractament mèdic utilitzant nombres extrems
[modifica]Aquest exemple fictici segueix en temàtica al del cas anterior, però amb nombres exageradament dicotomizats a fi de facilitar la comprensió del fenomen.
La següent taula mostra per a aquest cas fictici, igual que en l'exemple real, els percentatges d'èxit i la quantitat de tractaments que involucren al problema tipus "1" i al problema tipus "2":
| Tractament A | Tractament B | |
|---|---|---|
| Problema tipus "1" | Grup 1 100 % (1/1) |
Grup 2 98.9 % (98/99) |
| Problema tipus "2" | Grup 3 1 % (1/99) |
Grup 4 0 % (0/1) |
| Tots dos | 2 % (2/100) | 98 % (98/100) |
En aquest cas és clar que l'estudi no té validesa per l'extrem de les mostres, però la paradoxa subjacent es conserva: el tractament A és millor en tots dos tipus de problema, però el tractament B és millor en el conjunt. Es fa així mateix més evident on està el risc, en haver-se explotat en l'exemple: el fet que les mostres estadístiques siguin tan dicotòmiques entre tipus de problema, provoca l'aparent contradicció.
Discriminació per gènere a Berkeley
[modifica]Un dels exemples millor coneguts de la paradoxa de Simpson va ocórrer quan es va presentar una demanda contra la Universitat de Califòrnia, Berkeley per discriminació contra les dones que havien sol·licitat el seu ingrés al postgrau. Els resultats de les admissions per a l'estiu de 1973 mostraven que els homes sol·licitants tenien major possibilitat de ser triats que les dones i que la diferència era tal que no era possible que fos deguda a l'atzar.[14][15]
| Sol·licituds | Admissions | |
|---|---|---|
| Homes | 8442 | 44 % |
| Dones | 4321 | 35 % |
No obstant això, en examinar els departaments de forma individual, es va trobar que en cap departament existia un biaix contra les dones.[15] De fet, la majoria dels departaments havia presentat un "petit però estadísticament significatiu biaix en favor de les dones" Les dades dels sis majors departaments es llisten a sota.
| Departament | Homes | Dones | ||
|---|---|---|---|---|
| Sol·licituds | Admissions | Sol·licituds | Admissions | |
| A | 825 | 62 % | 108 | 82 % |
| B | 560 | 63 % | 25 | 68 % |
| C | 325 | 37 % | 593 | 34 % |
| D | 417 | 33 % | 375 | 35 % |
| E | 191 | 28 % | 393 | 24 % |
| F | 272 | 6 % | 341 | 7 % |
L'article de recerca de Bickel,[15] et al. va concloure que les dones solien presentar sol·licituds en camps competitius amb baix percentatge d'admissions (tals com el departament de llengua anglesa) mentre que els homes solien presentar en departaments amb menor competència i major percentatge d'admissions (com a enginyeria i química). Les condicions sota les quals les dades de freqüència de les admissions de departaments específics van constituir una defensa contra els càrrecs de discriminació es troben consignades en el llibre Causality (Causalitat) per Pearl.[2]
Referències
[modifica]- ↑ Clifford H. Wagner(febrer 1982) «Simpson's Paradox in Real Life». The American Statistician 36 (1): 46-48. . DOI: 10.2307/2684093. JSTOR: 2684093.
- ↑ 2,0 2,1 Judea Pearl. Causality: Models, Reasoning, and Inference, Cambridge University Press (2000, 2nd edition 2009). ISBN 0-521-77362-8
- ↑ David Freedman, Robert Pisani and Roger Purves. Statistics (4ª ed.) W.W. Norton, 2007, p. 19. ISBN 978-0-393-92972-0
- ↑ David S. Moore and D.S. George P. McCabe (febrer de 2005). "Introduction to the Practice of Statistics" (5th edition). W.H. Freeman & Company. ISBN 0-7167-6282-X
- ↑ Robert L. Wardrop (febrer de 1995) "Simpson's Paradox and the Hot Hand in Basketball". The American Statistician, 49 (1): pp. 24–28.
- ↑ Alan Agresti (2002). "Categorical Data Analysis" (2ª ed.) John Wiley and Sons ISBN 0-471-36093-7
- ↑ Simpson, Edward H. (1951). «The Interpretation of Interaction in Contingency Tables». Journal of the Royal Statistical Society, Ser. B 13: 238-241.'
- ↑ Pearson, Karl; Lee, A.; Bramley-Moore, L. (1899). «Genetic (reproductive) election: Inheritance of fertility in man». Philosophical Translations of the Royal Statistical Society, Ser. A 173: 534-539.'
- ↑ G. U. Yule (1903). «Notes on the Theory of Association of Attributes in Statistics». Biometrika 2 (2): 121-134.' DOI: 10.1093/biomet/2.2.121.
- ↑ Colin R. Blyth (junio de 1972). «On Simpson's Paradox and the Sure-Thing Principle». Journal of the American Statistical Association 67 (338): 364-366.' DOI: 10.2307/2284382. JSTOR: 2284382.
- ↑ I. J. Good, Y. Mittal (junio de 1987). «The Amalgamation and Geometry of Two-by-Two Contingency Tables». The Annals of Statistics 15 (2): 694-711.' DOI: 10.1214/aos/1176350369. ISSN: 0090-5364. JSTOR: 2241334.
- ↑ C. R. Charig, D. R. Webb, S. R. Payne, J. E. Wickham (29 de març de 1986). «Comparison of treatment of renal calculi by open surgery, percutaneous nephrolithotomy, and extracorporeal shockwave lithotripsy»' DOI: 10.1136/bmj.292.6524.879. PMC: 1339981. PMID: 3083922.
- ↑ Steven A. Julious and Mark A. Mullee (12 de marzo de 1994). «Confounding and Simpson's paradox». BMJ 309 (6967): 1480-1481.' PMC: 2541623. PMID: 7804052.
- ↑ David Freedman, Robert Pisani and Roger Curves. Statistics (3rd edition). W.W. Norton, 1998. ISBN 0-393-97083-3
- ↑ 15,0 15,1 15,2 P.J. Bickel, E.A. Hammel and J.W. O'Connell (1975). «Sex Bias in Graduate Admissions: Data From Berkeley». Science 187 (4175): 398-404.' DOI: 10.1126/science.187.4175.398. PMID: 17835295..
Enllaços externs
[modifica]- Un exemple pràctic de la paradoxa de Simpson (castellà)
- Stanford Encyclopedia of Philosophy: "Simpson's Paradox" (anglès) – by Gary Malinas.
- Pearl, la Judea, "Simpson's Paradox: An Anatomy" (anglès) (PDF)
- The Wall Street Journal column "The Numbers Guy" for December 2, 2009 Un exemple de la paradoxa de Simpson en la comparació de les taxes d'atur de les recessions de 2009 i 1983. (anglès)