Den AI-tilbakemeldingsløkken: Vedlikeholde modellproduksjonskvalitet i AI-generert innholdens tidsalder

Produksjonsdypte AI-modeller trenger en robust og kontinuerlig ytelsesevalueringmekanisme. Dette er der en AI-tilbakemeldingsløkke kan brukes for å sikre konsekvent modell-ytelse.

Ta det fra Elon Musk:

“Jeg tror det er veldig viktig å ha en tilbakemeldingsløkke, der du konstant tenker på hva du har gjort og hvordan du kunne gjøre det bedre.”

For alle AI-modeller er standardprosedyren å distribuere modellen og deretter periodisk omtrene den på de siste sanntidsdataene for å sikre at dens ytelse ikke forverres. Men, med den meteoriske økningen av Generativ AI, har AI-modelltrening blitt anomalt og feilpregede. Dette skyldes at nettbaserte datakilder (internettet) gradvis blir en blanding av menneskegenerert og AI-generert data.

For eksempel har mange blogger i dag AI-generert tekst drevet av LLM (Large Language Modules) som ChatGPT eller GPT-4. Mange datakilder inneholder AI-genererte bilder skapt med DALL-E2 eller Midjourney. I tillegg bruker AI-forskere syntetisk data generert med Generativ AI i deres modelltreningpipeliner.

Derfor trenger vi en robust mekanisme for å sikre kvaliteten på AI-modellene. Dette er der behovet for AI-tilbakemeldingsløkker har blitt mer forsterket.

Hva er en AI-tilbakemeldingsløkke?

En AI-tilbakemeldingsløkke er en iterativ prosess der en AI-modells beslutninger og utdata kontinuerlig samles inn og brukes til å forbedre eller omtrene samme modell, med følge av kontinuerlig læring, utvikling og modellforbedring. I denne prosessen oppdateres og forbedres AI-systemets treningdata, modellparametere og algoritmer basert på innputt generert fra innen systemet.

Hovedsakelig finnes det to typer AI-tilbakemeldingsløkker:

1. Positiv AI-tilbakemeldingsløkke: Når AI-modeller produserer nøyaktige resultater som stemmer overens med brukernes forventninger og preferanser, gir brukerne positiv tilbakemelding via en tilbakemeldingsløkke, som igjen forsterker nøyaktigheten av fremtidige resultater. Slik en tilbakemeldingsløkke kalles positiv.
2. Negativ AI-tilbakemeldingsløkke: Når AI-modeller produserer unøyaktige resultater, rapporterer brukerne feil via en tilbakemeldingsløkke som igjen prøver å forbedre systemets stabilitet ved å fikse feil. Slik en tilbakemeldingsløkke kalles negativ.

Begge typer AI-tilbakemeldingsløkker muliggjør kontinuerlig modellutvikling og ytelsesforbedring over tid. Og de brukes ikke eller anvendes i isolasjon. Sammen hjelper de produksjonsdypte AI-modeller å vite hva som er riktig eller galt.

Stadier av AI-tilbakemeldingsløkker

En høytnivå-illustrasjon av tilbakemeldingsmekanisme i AI-modeller. Kilde

Å forstå hvordan AI-tilbakemeldingsløkker fungerer er viktig for å låse opp hele potensialet for AI-utvikling. La oss utforske de ulike stadiene av AI-tilbakemeldingsløkker nedenfor.

1. Tilbakemeldingsinnsamling: Samle inn relevante modellresultater for evaluering. Vanligvis gir brukerne tilbakemelding på modellresultatet, som deretter brukes for omtrening. Eller det kan være eksterne data fra nettet som er kurert for å finjustere systemytelse.
2. Modellomtrening: Ved å bruke den innsamlede informasjonen, blir AI-systemet omtrådt for å gi bedre prediksjoner, gi svar eller utføre bestemte aktiviteter ved å finjustere modellparametere eller vekter.
3. Tilbakemeldingsintegrering & testing: Etter omtrening, blir modellen testet og evaluert igjen. På dette stadiet inkluderes også tilbakemelding fra fageksperter (SME) for å høyde problemer utover data.
4. Distribusjon: Modellen blir redistribuert etter å ha verifisert endringer. På dette stadiet bør modellen rapportere bedre ytelse på nye sanntidsdata, med følge av en forbedret brukeropplevelse.
5. Overvåking: Modellen overvåkes kontinuerlig ved hjelp av målinger for å identifisere potensiell forverring, som drift. Og tilbakemeldingscyklen fortsetter.

Problemene i produksjonsdata & AI-modellutdata

Bygging av robuste AI-systemer krever en grundig forståelse av de potensielle problemene i produksjonsdata (sanntidsdata) og modellutdata. La oss se på noen problemer som blir en hindring for å sikre nøyaktigheten og påliteligheten av AI-systemer:

1. Data-drift: Skjer når modellen begynner å motta sanntidsdata fra en annen distribusjon enn modellens treningdata-distribusjon.
2. Modell-drift: Modellens prediktive evner og effektivitet minker over tid på grunn av endrede sanntidsmiljøer. Dette kalles modell-drift.
3. AI-modellutdata vs. sanntidsbeslutning: AI-modeller produserer unøyaktige utdata som ikke stemmer overens med sanntidsstakholderbeslutninger.
4. Bias & rettferdighet: AI-modeller kan utvikle bias og rettferdighetsproblemer. For eksempel i en TED-tale av Janelle Shane, beskriver hun Amazons beslutning om å stoppe arbeidet med en résumé-sorteringsalgoritme på grunn av kjønnsdiskriminering.

Når AI-modellene begynner å trene på AI-generert innhold, kan disse problemene øke ytterligere. Hvordan? La oss diskutere dette i mer detalj.

AI-tilbakemeldingsløkker i AI-generert innholdens tidsalder

I kjølvannet av den raske generative AI-adoptsjonen, har forskere studert et fenomen kjent som Modell-kollaps. De definerer modell-kollaps som:

“En degenerativ prosess som påvirker generasjoner av lærte generative modeller, der generert data ender opp med å forurene treningssettet for den neste generasjonen av modeller; trent på forurenset data, misforstår de virkeligheten.”

Modell-kollaps består av to spesielle tilfeller,

• Tidlig modell-kollaps skjer når “modellen begynner å miste informasjon om halene av distribusjonen,” dvs. de ekstreme endene av treningdata-distribusjonen.
• Sen modell-kollaps skjer når “modellen sammenfletter forskjellige moduser av den opprinnelige distribusjonen og konvergerer til en distribusjon som ligner lite på den opprinnelige, ofte med svært liten varians.”

Årsaker til modell-kollaps

For AI-praktikere å løse dette problemet, er det essensielt å forstå årsakene til modell-kollaps, gruppert i to hovedkategorier:

1. Statistisk approksimasjonsfeil: Dette er den primære feilen forårsaket av det endelige antallet prøver, og den forsvinner når antallet prøver nærmer seg uendelig.
2. Funksjonell approksimasjonsfeil: Denne feilen stammer når modellene, som neurale nettverk, ikke klarer å fange den sanntidige underliggende funksjonen som må læres fra data.

Et eksempel på modellresultater for flere modellgenerasjoner påvirket av modell-kollaps. Kilde

Hvordan AI-tilbakemeldingsløkken påvirkes på grunn av AI-generert innhold

Når AI-modeller trener på AI-generert innhold, har det en destruktiv effekt på AI-tilbakemeldingsløkker og kan forårsake mange problemer for omtrådde AI-modeller, som:

• Modell-kollaps: Som forklart ovenfor, er modell-kollaps en sannsynlig mulighet hvis AI-tilbakemeldingsløkken inneholder AI-generert innhold.
• Katastrofalt glemming: En typisk utfordring i kontinuerlig læring er at modellen glemmer tidligere prøver når den lærer ny informasjon. Dette kalles katastrofalt glemming.
• Data-forurensning: Det refererer til å mata manipulative syntetiske data inn i AI-modellen for å kompromittere ytelsen, og får den til å produsere unøyaktige utdata.

Hvordan kan bedrifter opprette en robust tilbakemeldingsløkke for sine AI-modeller?

Bedrifter kan dra nytte av å bruke tilbakemeldingsløkker i sine AI-arbeidsflyter. Følg de tre hovedtrinnene nedenfor for å forbedre dine AI-modellers ytelse.

• Tilbakemelding fra fageksperter: Fageksperter er svært kunnskapsrike i deres domene og forstår bruken av AI-modeller. De kan tilby innsikt for å øke modellens tilpasning til sanntidssettinger, og gi en høyere sjanse for korrekte resultater. De kan også bedre styre og håndtere AI-generert data.
• Velg relevante modellkvalitetsmålinger: Å velge riktig evalueringmåling for riktig oppgave og overvåke modellen i produksjon basert på disse målingene, kan sikre modellkvalitet. AI-praktikere bruker også MLOps-verktøy for automatisert evaluering og overvåking for å varsle alle interessenter hvis modell-ytelsen begynner å forverre i produksjon.
• Streng datakurering: Ettersom produksjonsmodeller omtrådes på nye data, kan de glemme tidligere informasjon, så det er kritisk å kurere høykvalitetsdata som passer godt med modellens formål. Denne dataen kan brukes til å omtrene modellen i påfølgende generasjoner, sammen med brukertilbakemelding for å sikre kvalitet.

For å lære mer om AI-fremgang, gå til Unite.ai.