Proliferació de dades

Proliferació de dades es refereix a la prodigiosa quantitat de dades, estructurades i no estructurades, que les empreses i els governs continuen generant a un ritme sense precedents i amb l'usabilitat de problemes que es deriven en intentar emmagatzemar i administrar dades. Mentre que originalment pertanyien als problemes associats amb el paper de documentació, proliferació de dades s'ha convertit en un problema greu a nivell primari i secundari de l'emmagatzematge de dades en els equips.

L'emmagatzematge digital s'ha convertit en més barat, els costos associats, de poder cru de manteniment i de metadades a cercadors, no s'han mantingut amb la proliferació de dades. Tot i que la potència necessària per mantenir una unitat de dades ha caigut, el cost de les instal·lacions que causa l'emmagatzematge digital ha tendit a augmentar.

Proliferació de dades s'ha documentat com un problema pel Militars dels EUA des d'agost de 1971, en particular amb respecte a la excessiva documentació presentada durant l'adquisició de grans sistemes d'armes.

Continuen els esforços per mitigar la proliferació de dades i els problemes associats a aquesta.

"En el nivell més simple, empresa correu electrònic sistemes generen grans quantitats de dades. Correu electrònic empresarial - una part important per a l'empresa, una cosa molt menys així - s'estima estar creixent a un ritme de 25-30% anualment. I si és pertinent o no, la càrrega en el sistema és ser magnificada per pràctiques com ara abordar múltiples i el lligam de text gran, àudio i fins i tot arxius de vídeo." -IBM Global Technology Services

Problemes causats

El problema de la proliferació de dades afecta a totes les àrees de comerç com a resultat de la disponibilitat de dispositius d'emmagatzematge de dades relativament barat. Això ha facilitat poder bolcar dades en emmagatzematge secundari immediatament després de la seva finestra d'usabilitat. Així doncs elimina problemes que poden afectar greument la rendibilitat de les empreses i el funcionament eficient dels serveis de salut, forces policials i de seguretat, els governs locals i nacionals i molts altres tipus d'organitzacions. Proliferació de dades és un tema problemàtic per diverses raons:

• Dificultat en tractar de cercar i recuperar informació. En Xerox, la mitjana, diu que els empleats triguen més d'una hora per setmana per trobar documents impresos, costant $ 2.152 a l'any per administrar i emmagatzemar-los. Per a les empreses amb més de 10 empleats, això augmenta a gairebé dues hores per setmana en $ 5.760 per any. En grans xarxes d'emmagatzematge de dades primàries i secundàries, hi ha problemes per trobar les dades electròniques, són anàlegs problemes per trobar dades de la impressió.
• La pèrdua de dades i la responsabilitat legal quan les dades està desorganitzades, no està degudament replicats, o no es troba en un moment oportú. A l'abril de 2005, el Ameritrade Holding Corporation va dir que 200.000 clients actuals i passats que continguin informació confidencial havia estat perdut o destruït en trànsit. El març de 2005, un jutge de Florida sentencia una demanda de $ 2,7 bilions contra Morgan Stanley va emetre un "inferència adversa ordre" contra l'empresa per "abús intencional i greu de les seves obligacions de descobriment".
• Requisits de més mà d'obra per a administrar els recursos d'emmagatzematge de dades cada vegada més caòtica.
• Les xarxes són més lentes i el rendiment de l'aplicació causa l'excés de trànsit en la recerca dels usuaris i els obliga a buscar una altra vegada el material que necessiten.
• Alt cost en termes dels recursos d'energia necessària per fer anar el maquinari d'emmagatzematge. Un sistema 100 terabytes tindrà un cost de fins a $ 35.040 a l'any per a executar - sense comptar els costos de refredament.

Solucions proposades

• Aplicacions que utilitzen la millor tecnologia moderna.

• Reducció de dades duplicades (especialment com a causades pel moviment de dades) Millora de la metadades estructurades.
• Millora de les estructures de transferència d'arxiu i emmagatzematge.
• Disciplina i educació de l'usuari.
• L'aplicació d'Information Lifecycle Management trobaria solucions per eliminar informació d'escàs valor, com accedir el més aviat possible abans de posar la resta en activament gestionat d' emmagatzematge a llarg termini en el qual pot ser ràpid i barat.