AI-tilbakemeldingsløkken: Vedlikeholde modellproduksjonskvalitet i AI-generert innholdens tidsalder

Produksjonsutviklede AI-modeller trenger en robust og kontinuerlig ytelsesevalueringmekanisme. Dette er der AI-tilbakemeldingsløkken kan brukes for å sikre konsekvent modell-ytelse.

Hør på Elon Musk:

“Jeg tror det er veldig viktig å ha en tilbakemeldingsløkke, der du konstant tenker på hva du har gjort og hvordan du kan gjøre det bedre.”

For alle AI-modeller er den standardprosedyren å distribuere modellen og så periodisk om-trenere den på de siste virkelige data for å sikre at dens ytelse ikke forringes. Men, med den meteoretiske økningen av Generativ AI, har AI-modelltrening blitt anomalt og feilpregt. Dette skyldes at online datakilder (internettet) gradvis blir en blanding av menneske-generert og AI-generert data.

For eksempel har mange blogger i dag AI-generert tekst drevet av LLM (Large Language Modules) som ChatGPT eller GPT-4. Mange datakilder inneholder AI-genererte bilder skapt med DALL-E2 eller Midjourney. I tillegg bruker AI-forskere syntetisk data generert med Generativ AI i deres modelltreningssystemer.

Derfor trenger vi en robust mekanisme for å sikre kvaliteten på AI-modellene. Dette er der behovet for AI-tilbakemeldingsløkker har blitt mer forsterket.

Hva er en AI-tilbakemeldingsløkke?

En AI-tilbakemeldingsløkke er en iterativ prosess der en AI-modells beslutninger og utdata kontinuerlig samles inn og brukes til å forbedre eller om-trenere samme modell, med resultat i kontinuerlig læring, utvikling og modellforbedring. I denne prosessen oppdateres og forbedres AI-systemets treningdata, modellparametere og algoritmer basert på innputt generert fra systemet selv.

Hovedsakelig finnes det to typer AI-tilbakemeldingsløkker:

1. Positiv AI-tilbakemeldingsløkke: Når AI-modeller genererer nøyaktige resultater som stemmer overens med brukernes forventninger og preferanser, gir brukerne positiv tilbakemelding via en tilbakemeldingsløkke, som igjen forsterker nøyaktigheten av fremtidige resultater. Slike tilbakemeldingsløkker kalles positive.
2. Negativ AI-tilbakemeldingsløkke: Når AI-modeller genererer unøyaktige resultater, rapporterer brukerne feil via en tilbakemeldingsløkke som igjen prøver å forbedre systemets stabilitet ved å fikse feil. Slike tilbakemeldingsløkker kalles negative.

Begge typer AI-tilbakemeldingsløkker muliggjør kontinuerlig modellutvikling og ytelsesforbedring over tid. Og de brukes ikke eller anvendes i isolasjon. Sammen hjelper de produksjonsutviklede AI-modeller å vite hva som er riktig eller galt.

Stadier av AI-tilbakemeldingsløkker

En høynivå-illustrasjon av tilbakemeldingsmekanismen i AI-modeller. Kilde

Å forstå hvordan AI-tilbakemeldingsløkker fungerer er viktig for å låse opp hele potensialet for AI-utvikling. La oss utforske de ulike stadiene av AI-tilbakemeldingsløkker nedenfor.

1. Tilbakemeldingsinnsamling: Saml inn relevante modellresultater for evaluering. Vanligvis gir brukerne tilbakemelding på modellresultatet, som deretter brukes for om-trening. Eller det kan være eksterne data fra webben kurert for å finjustere systemytelse.
2. Modell-omtrening: Med den inn samlede informasjonen, om-trenes AI-systemet for å gi bedre prediksjoner, gi svar eller utføre bestemte aktiviteter ved å finjustere modellparametere eller vekter.
3. Tilbakemeldingsintegrering og testing: Etter om-trening, testes og evalueres modellen igjen. På dette stadiet inkluderes også tilbakemelding fra fageksperter for å høyde problemer utover data.
4. Distribusjon: Modellen distribueres igjen etter å ha verifisert endringer. På dette stadiet bør modellen rapportere bedre ytelse på nye virkelige data, med resultat i en forbedret brukeropplevelse.
5. Overvåking: Modellen overvåkes kontinuerlig med metrikker for å identifisere potensiell forringelse, som drift. Og tilbakemeldingscyklen fortsetter.

Problemene i produksjonsdata og AI-modellutdata

Bygging av robuste AI-systemer krever en grundig forståelse av de potensielle problemene i produksjonsdata (virkelige data) og modellutdata. La oss se på noen problemer som blir en hindring for å sikre nøyaktigheten og påliteligheten av AI-systemer:

1. Data-drift: Oppstår når modellen begynner å motta virkelige data fra en annen distribusjon sammenlignet med modellens treningdata-distribusjon.
2. Modell-drift: Modellens prediksjons-evne og effektivitet minker over tid på grunn av endrede virkelige miljøer. Dette kalles modell-drift.
3. AI-modellutdata vs. virkelige beslutninger: AI-modeller produserer unøyaktige utdata som ikke stemmer overens med virkelige interessenters beslutninger.
4. Forvrengning og rettferdighet: AI-modeller kan utvikle forvrengning og rettferdighetsproblemer. For eksempel i en TED-tale av Janelle Shane, beskriver hun Amazons beslutning om å stoppe arbeidet med en CV-sorteringsalgoritme på grunn av kjønnsdiskriminering.

Når AI-modellene begynner å trenes på AI-generert innhold, kan disse problemene øke ytterligere. Hvordan? La oss diskutere dette i mer detalj.

AI-tilbakemeldingsløkker i AI-generert innholdens tidsalder

I kjølvannet av den raske adopsjonen av generativ AI, har forskere studert et fenomen kjent som Modell-kollaps. De definerer modell-kollaps som:

“En degenererende prosess som påvirker generasjoner av lærte generative modeller, hvor generert data ender opp med å forurene treningssettet for den neste generasjonen av modeller; trent på forurenset data, misforstår de virkeligheten.”

Modell-kollaps består av to spesielle tilfeller,

• Tidlig modell-kollaps skjer når “modellen begynner å miste informasjon om halene av distribusjonen,” dvs. de ekstreme endene av treningdata-distribusjonen.
• Sen modell-kollaps skjer når “modellen sammenfletter ulike moduser av de opprinnelige distribusjonene og konvergerer til en distribusjon som ligner lite på den opprinnelige, ofte med svært liten varians.”

Årsaker til modell-kollaps

For AI-utøvere å løse dette problemet, er det essensielt å forstå årsakene til modell-kollaps, gruppert i to hovedkategorier:

1. Statistisk approksimasjonsfeil: Dette er den primære feilen forårsaket av det endelige antallet prøver, og den forsvinner når antallet prøver nærmer seg uendelig.
2. Funksjonell approksimasjonsfeil: Denne feilen stammer fra at modellene, som neurale nettverk, ikke kan fange den sanne underliggende funksjonen som må læres fra data.

Et eksempel på modellresultater for flere modellgenerasjoner påvirket av modell-kollaps. Kilde

Hvordan AI-tilbakemeldingsløkken påvirkes av AI-generert innhold

Når AI-modeller trenes på AI-generert innhold, har det en destruktiv effekt på AI-tilbakemeldingsløkker og kan forårsake mange problemer for om-trente AI-modeller, som:

• Modell-kollaps: Som nevnt ovenfor, er modell-kollaps en sannsynlig mulighet hvis AI-tilbakemeldingsløkken inneholder AI-generert innhold.
• Katastrofalt glemming: En vanlig utfordring i kontinuerlig læring er at modellen glemmer tidligere prøver når den lærer ny informasjon. Dette kalles katastrofalt glemming.
• Data-forurensning: Dette refererer til å mata manipulerende syntetisk data inn i AI-modellen for å kompromittere ytelsen, og får den til å produsere unøyaktige utdata.

Hvordan bedrifter kan opprette en robust tilbakemeldingsløkke for sine AI-modeller

Bedrifter kan dra nytte av å bruke tilbakemeldingsløkker i sine AI-arbeidsflyter. Følg de tre hovedstegene nedenfor for å forbedre AI-modellenes ytelse.

• Tilbakemelding fra fageksperter: Fageksperter er svært kunnskapsrike i sine domener og forstår bruken av AI-modeller. De kan tilby innsikt for å øke modellens tilpasning til virkelige settinger, og gi en høyere sjanse for korrekte resultater. De kan også bedre styre og håndtere AI-generert data.
• Velg relevante modellkvalitetsmetrikker: Velg den riktige evalueringmetrikken for den riktige oppgaven og overvåk modellen i produksjon basert på disse metrikker for å sikre modellkvalitet. AI-utøvere kan også bruke MLOps-verktøy for automatisert evaluering og overvåking for å varsle alle interessenter hvis modell-ytelsen begynner å forringe i produksjon.
• Streng data-kurering: Som produksjonsmodeller om-trenes på nye data, kan de glemme tidligere informasjon, så det er viktig å kurere høykvalitetsdata som passer godt med modellens formål. Denne dataen kan brukes til å om-trenere modellen i påfølgende generasjoner, sammen med brukertilbakemelding for å sikre kvalitet.

For å lære mer om AI-fremgang, gå til Unite.ai.