ModelOps

Il·lustra el cicle ModelOps

ModelOps (operacions de models o operacionalització de models), tal com la defineix Gartner, "es centra principalment en la governança i la gestió del cicle de vida d'una àmplia gamma de models operacionals d'intel·ligència artificial (IA) i de decisions, inclosos l'aprenentatge automàtic, gràfics de coneixement, regles, optimització, etc. models lingüístics i basats en agents ". "ModelOps es troba al cor de qualsevol estratègia d'IA empresarial". Organitza els cicles de vida dels models de tots els models en producció a tota l'empresa, des de la posada en producció d'un model, fins a l'avaluació i actualització de l'aplicació resultant d'acord amb un conjunt de regles de govern, que inclouen indicadors de rendiment clau (KPI) tècnics i empresarials. Atorga als experts del domini empresarial la capacitat d'avaluar models d'IA en producció, independentment dels científics de dades.

Un article de Forbes va promoure ModelOps: "A mesura que les empreses augmenten les seves iniciatives d'IA per convertir-se en una veritable organització d'IA empresarial, tenir una capacitat d'anàlisi operativa completa posa ModelOps al centre, connectant tant DataOps com DevOps".

Història

En una enquesta de Gartner del 2018, el 37% dels enquestats van informar que havien desplegat IA d'alguna forma; no obstant això, Gartner va assenyalar que les empreses encara estaven lluny d'implementar la IA, citant els reptes de desplegament. Les empreses estaven acumulant models no desplegats, no utilitzats i no actualitzats, i desplegats manualment, sovint a nivell d'unitat de negoci, augmentant l'exposició al risc de tota l'empresa. L'empresa analista independent Forrester també va cobrir aquest tema en un informe del 2018 sobre l'aprenentatge automàtic i els proveïdors d'anàlisi predictiva: "Els científics de dades es queixen regularment que els seus models només es despleguen de vegades o mai. Una gran part del problema és el caos organitzatiu per entendre com aplicar i dissenyar models a les aplicacions. Però una altra part important del problema és la tecnologia. Els models no són com el codi del programari perquè necessiten una gestió de models".

El desembre de 2018, Waldemar Hummer i Vinod Muthusamy d'IBM Research AI, van proposar ModelOps com "un model de programació per a fluxos de treball d'IA reutilitzables, independents de la plataforma i componibles" en el Dia dels Llenguatges de Programació d'IBM. En la seva presentació, van assenyalar la diferència entre el cicle de vida de desenvolupament d'aplicacions, representat per DevOps, i el cicle de vida de l'aplicació d'IA.

L'objectiu del desenvolupament de ModelOps era abordar la bretxa entre el desplegament del model i la governança del model, assegurant que tots els models funcionen en producció amb una governança sòlida, alineada amb els KPI tècnics i empresarials, alhora que es gestiona el risc. En la seva presentació, Hummer i Muthusamy van descriure una solució programàtica per a un desplegament progressiu conscient de la IA i components reutilitzables que permetrien que les versions del model coincidís amb les aplicacions empresarials, i que inclouria conceptes de model d'IA com ara el seguiment del model, la detecció de deriva i l'aprenentatge actiu. La solució també abordaria la tensió entre el rendiment del model i els KPI empresarials, els registres d'aplicacions i models, i els proxys del model i les polítiques en evolució. Diverses plataformes de núvol formaven part de la proposta. El juny de 2019, Hummer, Muthusamy, Thomas Rausch, Parijat Dube i Kaoutar El Maghraoui van presentar un article a la Conferència Internacional sobre Enginyeria del Núvol (IC2E) de l'IEEE 2019. El document va ampliar la seva presentació del 2018, proposant ModelOps com un marc i una plataforma basats en núvol per al desenvolupament d'extrem a extrem i la gestió del cicle de vida d'aplicacions d'intel·ligència artificial (IA). En resum, van afirmar que el marc mostraria com és possible estendre els principis de la gestió del cicle de vida del programari per permetre l'automatització, la confiança, la fiabilitat, la traçabilitat, el control de qualitat i la reproductibilitat dels pipelines de models d'IA. El març de 2020, ModelOp, Inc. va publicar la primera guia completa de la metodologia ModelOps. L'objectiu d'aquesta publicació era proporcionar una visió general de les capacitats de ModelOps, així com dels requisits tècnics i organitzatius per implementar les pràctiques de ModelOps.

Casos d'ús

Un cas d'ús típic de ModelOps és al sector dels serveis financers, on s'utilitzen centenars de models de sèries temporals per centrar-se en regles estrictes de biaix i auditabilitat. En aquests casos, l'equitat i la robustesa dels models són fonamentals, és a dir, els models han de ser justos i precisos i han de funcionar de manera fiable. ModelOps automatitza el cicle de vida dels models en producció. Aquesta automatització inclou dissenyar el cicle de vida del model, inclosos els KPI tècnics, empresarials i de compliment i els llindars, per governar i supervisar el model a mesura que s'executa, supervisar els models per detectar biaix i altres anomalies tècniques i comercials i actualitzar el model segons sigui necessari sense interrompre el funcionament. aplicacions. ModelOps és el despatxador que fa que tots els trens funcionin a temps i pel bon camí, assegurant el control del risc, el compliment i el rendiment empresarial.

Un altre cas d'ús és el seguiment dels nivells de sucre en sang d'un diabètic a partir de les dades en temps real d'un pacient. El model que pot predir la hipoglucèmia s'ha d'actualitzar constantment amb les dades actuals, els KPI empresarials i les anomalies s'han de supervisar contínuament i han d'estar disponibles en un entorn distribuït, de manera que la informació estigui disponible en un dispositiu mòbil, així com la informació a un sistema més gran. L'orquestració, el govern, el reciclatge, el seguiment i l'actualització es fan amb ModelOps.

El procés ModelOps

El procés ModelOps se centra a automatitzar el govern, la gestió i el seguiment dels models en producció a tota l'empresa, permetent als desenvolupadors d'aplicacions i d'IA connectar fàcilment les capacitats del cicle de vida (com ara detecció de biaix, robustesa i fiabilitat, detecció de deriva, tècniques, negocis i compliment). KPI, restriccions reguladores i fluxos d'aprovació) per posar en producció models d'IA com a aplicacions empresarials. El procés comença amb una representació estàndard dels models candidats per a la producció que inclou un metamodel (l'especificació del model) amb tots els components i peces dependents que s'incorporen a la construcció del model, com ara les dades, els entorns de maquinari i programari, els classificadors, etc. i complements de codi, i el més important, els KPI de negoci i de compliment/risc.

ModelOps: una evolució de MLOps

MLOps (operacions d'aprenentatge automàtic) és una disciplina que permet als científics de dades i als professionals informàtics col·laborar i comunicar-se alhora que automatitzen algorismes d'aprenentatge automàtic. S'estén i amplia els principis de DevOps per donar suport a l'automatització del desenvolupament i desplegament de models i aplicacions d'aprenentatge automàtic. Com a pràctica, MLOps inclou models d'aprenentatge automàtic rutinari (ML). Tanmateix, la varietat i els usos dels models han canviat per incloure models d'optimització de decisions, models d'optimització i models de transformació que s'afegeixen a les aplicacions. ModelOps és una evolució de MLOps que amplia els seus principis per incloure no només el desplegament rutinari de models d'aprenentatge automàtic, sinó també el reciclatge continu, l'actualització automatitzada i el desenvolupament i desplegament sincronitzats de models d'aprenentatge automàtic més complexos. ModelOps es refereix a l'operacionalització de tots els models d'IA, inclosos els models d'aprenentatge automàtic amb què es refereix MLOps.