Vés al contingut

Desigualtat en el tractament de dades

De la Viquipèdia, l'enciclopèdia lliure

En matemàtiques i informàtica, la desigualtat en el tractament de dades (DPI, de l'anglès Data Processing Inequality) és un concepte de teoria de la informació que estableix que el contingut d'informació d'un senyal no es pot augmentar mitjançant una operació reiterativa local. Això es pot expressar de manera concisa com "el postprocessament no pot produir nova informació".[1] Està molt relacionat amb el terme GIGO (garbage in, garbage out), que estipula que d'un input degenerat només en pot sorgir un output tant o més degenerat.[2]

Aquest concepte ha guanyat pes amb l'aparició de processos de computació d'aprenentatge automàtic, com és el cas de l'entrenament de models d'intel·ligència artificial. Així, un model entrenat amb dades generades a partir d'un altre model no pot obtenir informació nova; al llarg d'aquest procés la qualitat dels models disminueix fins a obtenir resultats corromputs.[3][4]

La desigualtat en el tractament de dades està estretament relacionada amb les inferències bayesianes.[5] L'aparició d'inferències a partir de resultats incomplets afecta a la predicció de nous resultats, que ràpidament acaben col·lapsant el sistema.[2]

Declaració

[modifica]

Es defineixen tres variables aleatòries que formen la cadena de Markov , el que implica que la distribució condicional de depèn només de i és condicionalment independent de . Concretament, tenim aquesta cadena de Markov si la funció de massa de probabilitat conjunta es pot escriure com

En aquesta configuració, el no processament , sigui de forma determinista o aleatòria, pot augmentar la informació que conté sobre . Utilitzant la informació mútua, això es pot escriure com :

amb la igualtat si i només si . És a dir, i contenen la mateixa informació sobre , i també forma una cadena de Markov.[6]

Demostració

[modifica]

Es pot aplicar la regla de la cadena per a la informació mútua per obtenir dues descomposicions diferents de  :

Per la relació , sabem que i són condicionament independents, donada , que implica la informació mútua condicional, . Aleshores, la desigualtat de processament de dades se segueix de la no-negativitat de .

Referències

[modifica]
  1. Beaudry, Normand «An intuitive proof of the data processing inequality». Quantum Information & Computation, 12, 5-6, 2012, pàg. 432–441. DOI: 10.26421/QIC12.5-6-4.
  2. 2,0 2,1 Lutkevich, Ben. «Model collapse explained: How synthetic training data breaks AI». TechTarget, 2023. [Consulta: 26 juliol 2024].
  3. Ilia Shumailov, Zakhar Shumaylov, Yiren Zhao, Nicolas Papernot, Ross Anderson & Yarin Gal «AI models collapse when trained on recursively generated data». Nature, 631, 2024, pàg. 755–759 [Consulta: 26 juliol 2024].
  4. Stock, Petra. «Degenerative AI: Researchers say training artificial intelligence models on machine-generated data leads to model collapse». Cosmos. [Consulta: 26 juliol 2024].
  5. Kirsch, Andreas. «Bridging the Data Processing Inequality and Function-Space Variational Inference». ICLR Blogposts. University of Oxford, 2024. [Consulta: 26 juliol 2024].
  6. Cover. Elements of information theory. John Wiley & Sons, 2012.