El bucle de retroalimentació de l'IA: mantenir la qualitat de producció del model en l'era del contingut generat per l'IA

Els models d'IA desplegats en producció necessiten un mecanisme d'avaluació del rendiment robust i continu. Aquí és on es pot aplicar un bucle de retroalimentació d'IA per garantir un rendiment coherent del model.

Preneu-ho d'Elon Musk:

"Crec que és molt important tenir un bucle de retroalimentació, on penses constantment en el que has fet i com pots fer-ho millor".

Per a tots els models d'IA, el procediment estàndard és desplegar el model i, a continuació, tornar-lo a entrenar periòdicament amb les últimes dades del món real per garantir que el seu rendiment no es deteriori. Però, amb l'ascens meteòric de IA generativa, l'entrenament del model d'IA s'ha tornat anòmal i propens a errors. Això es deu al fet que les fonts de dades en línia (Internet) s'estan convertint gradualment en una barreja de dades generades per humans i generades per IA.

Per exemple, molts blocs d'avui presenten text generat per IA alimentat per LLM (Mòduls d'idiomes grans) com ara ChatGPT o GPT-4. Moltes fonts de dades contenen imatges generades per IA creades amb DALL-E2 o Midjourney. A més, els investigadors d'IA estan utilitzant dades sintètiques generades amb IA generativa en els seus models d'entrenament.

Per tant, necessitem un mecanisme robust per garantir la qualitat dels models d'IA. Aquí és on la necessitat de bucles de retroalimentació d'IA s'ha amplificat més.

Què és un bucle de retroalimentació d'IA?

Un bucle de retroalimentació d'IA és un procés iteratiu on les decisions i els resultats d'un model d'IA es recullen i s'utilitzen contínuament per millorar o reciclar el mateix model, donant lloc a un aprenentatge, desenvolupament i millora del model continus. En aquest procés, les dades d'entrenament, els paràmetres del model i els algorismes del sistema d'IA s'actualitzen i milloren en funció de l'entrada generada des del sistema.

Principalment, hi ha dos tipus de bucles de retroalimentació d'IA:

1. Bucles de comentaris positius d'IA: Quan els models d'IA generen resultats precisos que s'alineen amb les expectatives i preferències dels usuaris, els usuaris donen comentaris positius mitjançant un bucle de retroalimentació, que a canvi reforça la precisió dels resultats futurs. Aquest bucle de retroalimentació s'anomena positiu.
2. Bucles de comentaris d'IA negatius: Quan els models d'IA generen resultats inexactes, els usuaris informen de defectes mitjançant un bucle de retroalimentació que, a canvi, intenta millorar l'estabilitat del sistema arreglant els defectes. Aquest bucle de retroalimentació s'anomena negatiu.

Tots dos tipus de bucles de retroalimentació d'IA permeten el desenvolupament continu del model i la millora del rendiment al llarg del temps. I no s'utilitzen ni s'apliquen de manera aïllada. Junts, ajuden als models d'IA desplegats en producció a saber què és correcte o incorrecte.

Etapes dels bucles de retroalimentació d'IA

Entendre com funcionen els bucles de retroalimentació d'IA és important per desbloquejar tot el potencial del desenvolupament de la IA. Explorem les diferents etapes dels bucles de retroalimentació d'IA a continuació.

1. Recollida de comentaris: Recolliu els resultats rellevants del model per a l'avaluació. Normalment, els usuaris donen la seva opinió sobre el resultat del model, que després s'utilitza per al reciclatge. O poden ser dades externes del web curades per ajustar el rendiment del sistema.
2. Reentrenament del model: Utilitzant la informació recopilada, el sistema d'IA es torna a entrenar per fer millors prediccions, proporcionar respostes o dur a terme activitats particulars perfeccionant els paràmetres o pesos del model.
3. Integració de comentaris i proves: Després del reciclatge, el model es prova i es torna a avaluar. En aquesta etapa, també s'inclouen comentaris d'experts en la matèria (PIME) per destacar problemes més enllà de les dades.
4. Desplegament: El model es torna a desplegar després de verificar els canvis. En aquesta etapa, el model hauria d'informar d'un millor rendiment de les noves dades del món real, donant lloc a una experiència d'usuari millorada.
5. Seguiment: El model es controla contínuament mitjançant mètriques per identificar el deteriorament potencial, com ara la deriva. I el cicle de retroalimentació continua.

Els problemes en les dades de producció i la sortida del model d'IA

La construcció de sistemes d'IA sòlids requereix una comprensió exhaustiva dels problemes potencials de les dades de producció (dades del món real) i els resultats del model. Vegem alguns problemes que es converteixen en un obstacle per garantir la precisió i la fiabilitat dels sistemes d'IA:

1. Deriva de dades: Es produeix quan el model comença a rebre dades del món real d'una distribució diferent en comparació amb la distribució de dades d'entrenament del model.
2. Model Drift: Les capacitats predictives i l'eficiència del model disminueixen amb el temps a causa dels entorns canviants del món real. Això es coneix com a deriva del model.
3. Sortida del model d'IA versus decisió del món real: Els models d'IA produeixen resultats inexactes que no s'alineen amb les decisions de les parts interessades del món real.
4. Biaix i equitat: Els models d'IA poden desenvolupar problemes de biaix i d'equitat. Per exemple, en a Xerrada TED de Janelle Shane, descriu la decisió d'Amazon de deixar de treballar en un algorisme d'ordenació de currículums a causa de la discriminació de gènere.

Una vegada que els models d'IA comencen a entrenar sobre contingut generat per IA, aquests problemes poden augmentar encara més. Com? Parlem d'això amb més detall.

Bucles de retroalimentació d'IA a l'era del contingut generat per IA

Arran de la ràpida adopció generativa d'IA, els investigadors han estudiat un fenomen conegut com a Col·lapse del model. Defineixen el col·lapse del model com:

“Procés degeneratiu que afecta generacions de models generatius apresos, on les dades generades acaben contaminant el conjunt d'entrenament de la propera generació de models; essent entrenats sobre dades contaminades, perceben malament la realitat".

El col·lapse del model consta de dos casos especials,

• Col·lapse primerenc del model succeeix quan "el model comença a perdre informació sobre les cues de la distribució", és a dir, els extrems de la distribució de dades d'entrenament.
• Col·lapse del model tardà Succeeix quan el "model entrellaça diferents modes de les distribucions originals i convergeix cap a una distribució que s'assembla una mica a l'original, sovint amb una variació molt petita".

Causes del col·lapse del model

Perquè els professionals de la IA abordin aquest problema, és essencial entendre les raons del col·lapse del model, agrupades en dues categories principals:

1. Error d'aproximació estadística: Aquest és l'error principal causat pel nombre finit de mostres, i desapareix a mesura que el recompte de mostres s'acosta a l'infinit.
2. Error d'aproximació funcional: Aquest error es produeix quan els models, com ara les xarxes neuronals, no aconsegueixen capturar la veritable funció subjacent que s'ha d'aprendre de les dades.

Com es veu afectat el bucle de retroalimentació de l'IA a causa del contingut generat per l'IA

Quan els models d'IA s'entrenen amb contingut generat per IA, té un efecte destructiu en els bucles de retroalimentació d'IA i pot causar molts problemes per als models d'IA reentrenats, com ara:

• Col·lapse del model: Com s'ha explicat anteriorment, el col·lapse del model és una possibilitat probable si el bucle de retroalimentació d'IA conté contingut generat per IA.
• L'oblit catastròfic: Un repte típic de l'aprenentatge continu és que el model oblida mostres anteriors quan apren informació nova. Això es coneix com a oblit catastròfic.
• Contaminació de dades: Es refereix a introduir dades sintètiques manipulatives al model d'IA per comprometre el rendiment, cosa que fa que produeixi una sortida inexacte.

Com poden les empreses crear un bucle de comentaris sòlid per als seus models d'IA?

Les empreses es poden beneficiar utilitzant bucles de retroalimentació als seus fluxos de treball d'IA. Seguiu els tres passos principals següents per millorar el rendiment dels vostres models d'IA.

• Comentaris d'experts en la matèria: Les pimes tenen un gran coneixement en el seu domini i entenen l'ús dels models d'IA. Poden oferir informació per augmentar l'alineació del model amb la configuració del món real, donant més possibilitats de resultats correctes. A més, poden governar i gestionar millor les dades generades per IA.
• Trieu les mètriques de qualitat del model rellevants: L'elecció de la mètrica d'avaluació adequada per a la tasca adequada i el seguiment del model en producció basant-se en aquestes mètriques poden garantir la qualitat del model. Els professionals de la IA també utilitzen eines MLOps per a l'avaluació i el seguiment automatitzats per alertar a totes les parts interessades si el rendiment del model comença a deteriorar-se a la producció.
• Curació estricta de dades: A mesura que els models de producció es tornen a formar amb dades noves, poden oblidar la informació passada, per la qual cosa és crucial curar dades d'alta qualitat que s'alinein bé amb el propòsit del model. Aquestes dades es poden utilitzar per tornar a entrenar el model en generacions posteriors, juntament amb els comentaris dels usuaris per garantir la qualitat.

Per obtenir més informació sobre els avenços en IA, aneu a Unite.ai.