AI-återkopplingsslingan: Underhåll av modellproduktionskvalitet i AI-genererat innehålls era

Produktionssatta AI-modeller behöver en robust och kontinuerlig prestandaevaluering. Här kan en AI-återkopplingsslinga tillämpas för att säkerställa konsekvent modellprestanda.

Ta det från Elon Musk:

”Jag tycker att det är mycket viktigt att ha en återkopplingsslinga, där du ständigt tänker på vad du har gjort och hur du kan göra det bättre.”

För alla AI-modeller är den standardprocedur att distribuera modellen och sedan periodvis omträna den på den senaste realvärldsdatan för att säkerställa att dess prestanda inte försämras. Men med den meteoriska ökningen av Generativ AI, har AI-modellträning blivit anomalt och felbenägen. Det beror på att onlinedatakällor (internet) gradvis blir en blandning av mänskliggenererad och AI-genererad data.

Till exempel har många bloggar idag AI-genererad text som drivs av LLM (Large Language Modules) som ChatGPT eller GPT-4. Många datakällor innehåller AI-genererade bilder som skapats med DALL-E2 eller Midjourney. Dessutom använder AI-forskare syntetisk data som genereras med Generativ AI i sina modellträningspipelines.

Därför behöver vi en robust mekanism för att säkerställa kvaliteten på AI-modellerna. Här är behovet av AI-återkopplingsslingor mer förstärkt.

Vad är en AI-återkopplingsslinga?

En AI-återkopplingsslinga är en iterativ process där en AI-modells beslut och utdata kontinuerligt samlas in och används för att förbättra eller omträna samma modell, vilket resulterar i kontinuerligt lärande, utveckling och modellförbättring. I denna process uppdateras och förbättras AI-systemets träningsdata, modellparametrar och algoritmer baserat på indata som genereras inom systemet.

Huvudsakligen finns det två typer av AI-återkopplingsslingor:

1. Positiv AI-återkopplingsslinga: När AI-modeller genererar precisa resultat som överensstämmer med användarnas förväntningar och preferenser, ger användarna positiv återkoppling via en återkopplingsslinga, som i sin tur förstärker precisionen i framtida resultat. Sådan återkopplingsslinga kallas positiv.
2. Negativ AI-återkopplingsslinga: När AI-modeller genererar ofullständiga resultat, rapporterar användarna brister via en återkopplingsslinga som i sin tur försöker förbättra systemets stabilitet genom att åtgärda brister. Sådan återkopplingsslinga kallas negativ.

Båda typerna av AI-återkopplingsslingor möjliggör kontinuerlig modellutveckling och prestandaförbättring över tid. Och de används inte eller tillämpas i isolering. Tillsammans hjälper de produktionssatta AI-modeller att veta vad som är rätt eller fel.

Stadier av AI-återkopplingsslingor

En högnivåillustration av återkopplingsmekanismen i AI-modeller. Källa

Att förstå hur AI-återkopplingsslingor fungerar är betydelsefullt för att låsa upp hela potentialen för AI-utveckling. Låt oss undersöka de olika stadierna av AI-återkopplingsslingor nedan.

1. Återkopplingssamling: Samla in relevanta modellresultat för utvärdering. Vanligtvis ger användarna sin återkoppling på modellresultatet, som sedan används för omträning. Eller det kan vara extern data från webben som kuraterats för att finjustera systemprestanda.
2. Modellomträning: Med den insamlade informationen omtränas AI-systemet för att göra bättre förutsägelser, ge svar eller utföra särskilda aktiviteter genom att finjustera modellparametrarna eller vikterna.
3. Återkopplingsintegration & testning: Efter omträning testas och utvärderas modellen igen. Vid detta stadium ingår också återkoppling från ämnesexperter (SME) för att belysa problem bortom data.
4. Distribution: Modellen distribueras om efter att förändringarna har verifierats. Vid detta stadium bör modellen rapportera bättre prestanda på ny realvärldsdata, vilket resulterar i en förbättrad användarupplevelse.
5. Övervakning: Modellen övervakas kontinuerligt med hjälp av mått för att identifiera potentiell försämring, som till exempel drift. Och återkopplingscykeln fortsätter.

Problem i produktionsdata & AI-modellutdata

Att bygga robusta AI-system kräver en grundlig förståelse av de potentiella problemen i produktionssdata (realvärldsdata) och modellutdata. Låt oss se på några problem som blir ett hinder för att säkerställa precisionen och tillförlitligheten hos AI-system:

1. Data-drift: Uppstår när modellen börjar ta emot realvärldsdata från en annan fördelning jämfört med modellens träningsdatafördelning.
2. Modell-drift: Modellens prediktiva förmåga och effektivitet minskar över tid på grund av förändrade realvärldsmiljöer. Detta kallas modell-drift.
3. AI-modellutdata vs. realvärldsbeslut: AI-modeller producerar ofullständiga utdata som inte överensstämmer med realvärldsintressenters beslut.
4. Partiskhet & rättvisa: AI-modeller kan utveckla partiskhet och rättviseproblem. Till exempel i en TED-talk av Janelle Shane, beskriver hon Amazons beslut att sluta arbeta på ett CV-sorteringsalgoritm på grund av könsdiskriminering.

När AI-modeller börjar träna på AI-genererat innehåll kan dessa problem öka ytterligare. Hur? Låt oss diskutera detta i mer detalj.

AI-återkopplingsslingor i AI-genererat innehålls era

I kölvattnet av den snabba adoptionen av generativ AI har forskare studerat ett fenomen som kallas Modellkollaps. De definierar modellkollaps som:

”En degenerativ process som påverkar generationer av lärd generativ modell, där genererad data slutar förorena träningsuppsättningen för nästa generation av modeller; som tränas på förorenad data, de misstolkar då verkligheten.”

Modellkollaps består av två specialfall,

• Tidig modellkollaps inträffar när ”modellen börjar förlora information om svansarna på fördelningen,” dvs. de extrema ändarna av träningsdatafördelningen.
• Sen modellkollaps inträffar när ”modellen sammanflätar olika lägen av den ursprungliga fördelningen och konvergerar till en fördelning som har liten likhet med den ursprungliga, ofta med mycket liten varians.”

Orsaker till modellkollaps

För AI-praktiker att hantera detta problem är det viktigt att förstå orsakerna till modellkollaps, grupperade i två huvudkategorier:

1. Statistisk approximationsfel: Detta är det primära felet som orsakas av det ändliga antalet prover, och det försvinner när antalet prover närmar sig oändligheten.
2. Funktionell approximationsfel: Detta fel uppstår när modellerna, som neurala nätverk, inte kan fånga den underliggande funktionen som ska läras från data.

Ett exempel på modellresultat för flera modellgenerationer som påverkas av modellkollaps. Källa

Hur AI-återkopplingsslinga påverkas på grund av AI-genererat innehåll

När AI-modeller tränas på AI-genererat innehåll har det en destruktiv effekt på AI-återkopplingsslingor och kan orsaka många problem för omtränade AI-modeller, såsom:

• Modellkollaps: Som nämnts ovan är modellkollaps en sannolik möjlighet om AI-återkopplingsslingan innehåller AI-genererat innehåll.
• Katastrofalt glömska: En typisk utmaning i kontinuerligt lärande är att modellen glömmer tidigare prover när den lär sig ny information. Detta kallas katastrofalt glömska.
• Dataförorening: Det hänvisar till att mata manipulativ syntetisk data till AI-modellen för att kompromettera prestanda, vilket gör att den producerar ofullständiga utdata.

Hur kan företag skapa en robust återkopplingsslinga för sina AI-modeller?

Företag kan dra nytta av att använda återkopplingsslingor i sina AI-arbetsflöden. Följ de tre huvudsakliga stegen nedan för att förbättra prestandan för era AI-modeller.

• Återkoppling från ämnesexperter: Ämnesexperter är mycket kunniga inom sitt område och förstår användningen av AI-modeller. De kan erbjuda insikter för att öka modellens överensstämmelse med realvärldsmiljöer, vilket ger en högre chans att få rätt resultat. De kan också bättre styra och hantera AI-genererad data.
• Välj relevanta modellkvalitetsmått: Att välja rätt utvärderingsmått för rätt uppgift och övervaka modellen i produktion baserat på dessa mått kan säkerställa modellkvalitet. AI-praktiker använder också MLOps-verktyg för automatiserad utvärdering och övervakning för att varna alla intressenter om modellprestanda börjar försämras i produktion.
• Strikt datakurering: När produktionsmodeller omtränas på ny data kan de glömma tidigare information, så det är viktigt att kurera högkvalitativ data som överensstämmer väl med modellens syfte. Denna data kan användas för att omträna modellen i efterföljande generationer, tillsammans med användaråterkoppling för att säkerställa kvalitet.

För att lära mer om AI-framsteg, gå till Unite.ai.