AI-återkopplingsloopens betydelse: Att upprätthålla modellkvalitet i produktion med AI-genererat innehåll

AI-modeller som distribueras i produktion behöver en robust och kontinuerlig utvärderingsmekanism för prestanda. Här kan en AI-återkopplingsloop tillämpas för att säkerställa konsekvent modellprestanda.

Ta det från Elon Musk:

”Jag tycker att det är mycket viktigt att ha en återkopplingsloop, där du ständigt tänker på vad du har gjort och hur du kan göra det bättre.”

För alla AI-modeller är den standardprocedur att distribuera modellen och sedan periodiskt omträna den på den senaste realvärldsdatan för att säkerställa att dess prestanda inte försämras. Men med den meteoriska ökningen av genererat AI-innehåll, har AI-modellträning blivit anomalt och felbenägen. Det beror på att onlinedatakällor (internet) gradvis blir en blandning av mänskligt genererat och AI-genererat innehåll.

Till exempel har många bloggar idag AI-genererad text som drivs av LLM (Large Language Modules) som ChatGPT eller GPT-4. Många datakällor innehåller AI-genererade bilder som skapats med DALL-E2 eller Midjourney. Dessutom använder AI-forskare syntetisk data som genereras med genererat AI i sina modellträningspipelines.

Därför behöver vi en robust mekanism för att säkerställa kvaliteten på AI-modellerna. Här är behovet av AI-återkopplingsloopar mer förstärkt.

Vad är en AI-återkopplingsloop?

En AI-återkopplingsloop är en iterativ process där en AI-modells beslut och utdata kontinuerligt samlas in och används för att förbättra eller omträna samma modell, vilket resulterar i kontinuerligt lärande, utveckling och modellförbättring. I denna process uppdateras och förbättras AI-systemets träningsdata, modellparametrar och algoritmer baserat på indata som genereras inom systemet.

Huvudsakligen finns det två typer av AI-återkopplingsloopar:

1. Positiva AI-återkopplingsloopar: När AI-modeller genererar precisa resultat som överensstämmer med användarnas förväntningar och preferenser, ger användarna positiv återkoppling via en återkopplingsloop, som i sin tur förstärker noggrannheten i framtida resultat. En sådan återkopplingsloop kallas positiv.
2. Negativa AI-återkopplingsloopar: När AI-modeller genererar felaktiga resultat, rapporterar användarna fel via en återkopplingsloop som i sin tur försöker förbättra systemets stabilitet genom att åtgärda fel. En sådan återkopplingsloop kallas negativ.

Båda typerna av AI-återkopplingsloopar möjliggör kontinuerlig modellutveckling och prestandaförbättring över tid. Och de används inte eller tillämpas i isolering. Tillsammans hjälper de produktion-distribuerade AI-modellerna att veta vad som är rätt eller fel.

Stadier av AI-återkopplingsloopar

En högnivåillustration av återkopplingsmekanismen i AI-modeller. Källa

Att förstå hur AI-återkopplingsloopar fungerar är viktigt för att låsa upp hela potentialen för AI-utveckling. Låt oss undersöka de olika stadierna av AI-återkopplingsloopar nedan.

1. Återkopplingssamling: Samlar in relevanta modellresultat för utvärdering. Vanligtvis ger användarna sin återkoppling på modellresultatet, som sedan används för omträning. Eller så kan det vara extern data från webben som cureras för att finjustera systemprestanda.
2. Modellomträning: Använder den insamlade informationen, omtränar AI-systemet för att göra bättre förutsägelser, ge svar eller utföra specifika aktiviteter genom att finjustera modellparametrarna eller vikterna.
3. Återkopplingsintegrering och testning: Efter omträning testas och utvärderas modellen igen. Vid detta stadium ingår också återkoppling från ämnesexperter (SME) för att belysa problem bortom data.
4. Distribution: Modellen distribueras om efter att ändringarna har verifierats. Vid detta stadium bör modellen rapportera bättre prestanda på ny realvärldsdata, vilket resulterar i en förbättrad användarupplevelse.
5. Övervakning: Modellen övervakas kontinuerligt med hjälp av mått för att identifiera potentiell försämring, som till exempel drift. Och återkopplingscykeln fortsätter.

Problem i produktionsdata och AI-modellutdata

Att bygga robusta AI-system kräver en grundlig förståelse av de potentiella problemen i produktionsdata (realvärldsdata) och modellutdata. Låt oss titta på några problem som blir ett hinder för att säkerställa noggrannheten och tillförlitligheten hos AI-system:

1. Data-drift: Uppstår när modellen börjar ta emot realvärldsdata från en annan fördelning jämfört med modellens träningsdatafördelning.
2. Modell-drift: Modellens prediktiva förmåga och effektivitet minskar över tid på grund av förändrade realvärldsmiljöer. Detta kallas modell-drift.
3. AI-modellutdata vs. realvärldsbeslut: AI-modeller producerar felaktig utdata som inte överensstämmer med realvärldens intressenters beslut.
4. Partiskhet och rättvisa: AI-modeller kan utveckla partiskhet och rättviseproblem. Till exempel i en TED-talk av Janelle Shane, beskriver hon Amazons beslut att sluta arbeta på ett CV-sorteringsalgoritm på grund av könsdiskriminering.

När AI-modellerna börjar träna på AI-genererat innehåll kan dessa problem öka ytterligare. Hur? Låt oss diskutera detta i mer detalj.

AI-återkopplingsloopar i AI-genererat innehålls tidevarv

I kölvattnet av den snabba adoptionen av genererat AI-innehåll, har forskare studerat ett fenomen som kallas Modellkollaps. De definierar modellkollaps som:

”En degenerativ process som påverkar generationer av lärd generativ modell, där genererad data slutar förorena träningsuppsättningen för nästa generation av modeller; som tränas på förorenad data, de missförstår verkligheten.”

Modellkollaps består av två speciella fall,

• Tidig modellkollaps inträffar när “modellen börjar förlora information om svansarna på fördelningsfördelningen”, dvs. de extrema ändarna av träningsdatafördelningen.
• Sen modellkollaps inträffar när “modellen sammanflätar olika lägen av de ursprungliga fördelningarna och konvergerar till en fördelning som bär lite likhet med den ursprungliga, ofta med mycket liten varians.”

Orsaker till modellkollaps

För AI-praktiker att lösa detta problem, är det viktigt att förstå orsakerna till modellkollaps, grupperade i två huvudkategorier:

1. Statistisk approximationsfel: Detta är det primära felet som orsakas av det ändliga antalet prover, och det försvinner när antalet prover närmar sig oändligheten.
2. Funktionell approximationsfel: Detta fel uppstår när modellerna, som till exempel neurala nätverk, inte kan fånga den underliggande funktionen som ska läras från data.

Ett exempel på modellresultat för flera modellgenerationer påverkade av modellkollaps. Källa

Hur AI-återkopplingsloop påverkas av AI-genererat innehåll

När AI-modeller tränas på AI-genererat innehåll, har det en destruktiv effekt på AI-återkopplingsloopar och kan orsaka många problem för de omtränade AI-modellerna, såsom:

• Modellkollaps: Som beskrivits ovan, är modellkollaps en sannolik möjlighet om AI-återkopplingslooparna innehåller AI-genererat innehåll.
• Katastrofalt glömska: En typisk utmaning i kontinuerligt lärande är att modellen glömmer tidigare prover när den lär sig ny information. Detta kallas katastrofalt glömska.
• Dataförgiftning: Det hänvisar till att mata manipulativ syntetisk data till AI-modellen för att kompromettera prestanda, vilket får modellen att producera felaktig utdata.

Hur kan företag skapa en robust återkopplingsloop för sina AI-modeller?

Företag kan dra nytta av att använda återkopplingsloopar i sina AI-arbetsflöden. Följ de tre huvudsakliga stegen nedan för att förbättra prestandan för era AI-modeller.

• Återkoppling från ämnesexperter: Ämnesexperter är mycket kunniga inom sitt område och förstår användningen av AI-modeller. De kan erbjuda insikter för att öka modellens överensstämmelse med realvärlden, vilket ger en högre chans att få rätt resultat. Dessutom kan de bättre styra och hantera AI-genererat data.
• Välj relevanta modellkvalitetsmått: Att välja rätt utvärderingsmått för rätt uppgift och övervaka modellen i produktion baserat på dessa mått kan säkerställa modellkvalitet. AI-praktiker använder också MLOps-verktyg för automatiserad utvärdering och övervakning för att varna alla intressenter om modellprestandan börjar försämras i produktion.
• Strikt datakurering: Som produktionmodeller omtränas på ny data, kan de glömma tidigare information, så det är viktigt att kurera högkvalitativ data som överensstämmer väl med modellens syfte. Denna data kan användas för att omträna modellen i efterföljande generationer, tillsammans med användaråterkoppling för att säkerställa kvalitet.

För att lära dig mer om AI-utveckling, gå till Unite.ai.