AI-modeller og plattformer

AI-tilbakemeldingsløkken: Opprettholde modellkvalitet i produksjon i en tid med AI-generert innhold

Haziqa Sajid
Legg til Unite.AI blant dine foretrukne kilder på Google
Viktige punkterAI-tilbakemeldingsløkker bekjemper modellkollaps fra forurensning av AI-generert…
Vis mer
  • AI-tilbakemeldingsløkker bekjemper modellkollaps fra forurensning av AI-generert treningsdata.
  • Modellkollaps oppstår når generative modeller trener på sine egne syntetiske resultater.
  • Fageksperter gir avgjørende menneskelig tilsyn for å opprettholde modelljustering.

AI-modeller i produksjon trenger en robust og kontinuerlig mekanisme for ytelsesevaluering. Dette er der AI-tilbakemeldingsløkken kan brukes for å sikre konsekvent modell-ytelse.

Hør på Elon Musk:

“Jeg tror det er veldig viktig å ha en tilbakemeldingsløkke, der du konstant tenker på hva du har gjort og hvordan du kan gjøre det bedre.”

For alle AI-modeller er standardprosedyren å distribuere modellen og så periodisk trene på nytt den på de siste virkelige data for å sikre at dens ytelse ikke forringes. Men, med den meteoriske økningen av Generativ AI, har AI-modelltrening blitt anomalt og feilutsatt. Dette skyldes at online datakilder (internettet) gradvis blir en blanding av menneske-generert og AI-generert data.

For eksempel har mange blogger i dag AI-generert tekst drevet av store språkmodeller (LLM-er) som ChatGPT eller GPT-4. Mange datakilder inneholder AI-genererte bilder skapt med DALL-E2 eller Midjourney. I tillegg bruker AI-forskere syntetisk data generert med Generativ AI i deres modelltreningssystemer.

Derfor trenger vi en robust mekanisme for å sikre kvaliteten på AI-modellene. Dette er der behovet for AI-tilbakemeldingsløkker har blitt mer forsterket.

Hva er en AI-tilbakemeldingsløkke?

En AI-tilbakemeldingsløkke er en iterativ prosess der en AI-modells beslutninger og utdata kontinuerlig samles inn og brukes til å forbedre eller trene på nytt samme modell, med resultat i kontinuerlig læring, utvikling og modellforbedring. I denne prosessen oppdateres og forbedres AI-systemets treningsdata, modellparametere og algoritmer basert på inndata generert fra systemet selv.

Hovedsakelig finnes det to typer AI-tilbakemeldingsløkker:

  1. Positiv AI-tilbakemeldingsløkke: Når AI-modeller genererer nøyaktige resultater som stemmer overens med brukernes forventninger og preferanser, gir brukerne positiv tilbakemelding via en tilbakemeldingsløkke, som igjen forsterker nøyaktigheten av fremtidige resultater. Slike tilbakemeldingsløkker kalles positive.
  2. Negativ AI-tilbakemeldingsløkke: Når AI-modeller genererer unøyaktige resultater, rapporterer brukerne feil via en tilbakemeldingsløkke som igjen prøver å forbedre systemets stabilitet ved å fikse feil. Slike tilbakemeldingsløkker kalles negative.

Begge typer AI-tilbakemeldingsløkker muliggjør kontinuerlig modellutvikling og ytelsesforbedring over tid. De brukes ikke isolert fra hverandre. Sammen hjelper de AI-modeller i produksjon å vite hva som er riktig eller galt.

Stadier av AI-tilbakemeldingsløkker

En illustrasjon av AI-generert data i AI-tilbakemeldingsløkke

En høynivå-illustrasjon av tilbakemeldingsmekanismen i AI-modeller. Kilde

Å forstå hvordan AI-tilbakemeldingsløkker fungerer er viktig for å låse opp hele potensialet for AI-utvikling. La oss utforske de ulike stadiene av AI-tilbakemeldingsløkker nedenfor.

  1. Tilbakemeldingsinnsamling: Samle inn relevante modellresultater for evaluering. Vanligvis gir brukerne tilbakemelding på modellresultatet, som deretter brukes for om-trening. Eller det kan være eksterne data fra internett som er valgt ut for å finjustere systemytelse.
  2. Modell-omtrening: Med den innsamlede informasjonen, om-trenes AI-systemet for å gi bedre prediksjoner, gi svar eller utføre bestemte aktiviteter ved å finjustere modellparametere eller vekter.
  3. Tilbakemeldingsintegrering og testing: Etter om-trening, testes og evalueres modellen igjen. På dette stadiet inkluderes også tilbakemelding fra fageksperter for å fremheve problemer utover data.
  4. Distribusjon: Modellen distribueres igjen etter å ha verifisert endringer. På dette stadiet bør modellen rapportere bedre ytelse på nye virkelige data, med resultat i en forbedret brukeropplevelse.
  5. Overvåking: Modellen overvåkes kontinuerlig med metrikker for å identifisere potensiell forringelse, som drift. Og tilbakemeldingssyklusen fortsetter.

Problemene i produksjonsdata og AI-modellutdata

Bygging av robuste AI-systemer krever en grundig forståelse av de potensielle problemene i produksjonsdata (virkelige data) og modellutdata. La oss se på noen problemer som blir en hindring for å sikre nøyaktigheten og påliteligheten av AI-systemer:

  1. Dataforskyvning: Oppstår når modellen begynner å motta virkelige data fra en annen distribusjon sammenlignet med modellens treningsdata-distribusjon.
  2. Modellforskyvning: Modellens prediksjons-evne og effektivitet minker over tid på grunn av endrede virkelige miljøer. Dette kalles modellforskyvning.
  3. AI-modellutdata vs. virkelige beslutninger: AI-modeller produserer unøyaktige utdata som ikke stemmer overens med virkelige interessenters beslutninger.
  4. Skjevheter og rettferdighet: AI-modeller kan utvikle skjevheter og rettferdighetsproblemer. For eksempel i en TED-tale av Janelle Shane, beskriver hun Amazons beslutning om å stoppe arbeidet med en CV-sorteringsalgoritme på grunn av kjønnsdiskriminering.

Når AI-modellene begynner å trenes på AI-generert innhold, kan disse problemene øke ytterligere. Hvordan? La oss diskutere dette i mer detalj.

AI-tilbakemeldingsløkker i tidsalderen for AI-generert innhold

I kjølvannet av den raske adopsjonen av generativ AI, har forskere studert et fenomen kjent som Modell-kollaps. De definerer modell-kollaps som:

“En degenererende prosess som påvirker generasjoner av lærte generative modeller, hvor generert data ender opp med å forurene treningssettet for den neste generasjonen av modeller; trent på forurenset data, misforstår de virkeligheten.”

Modell-kollaps består av to spesielle tilfeller,

  • Tidlig modell-kollaps skjer når “modellen begynner å miste informasjon om halene av distribusjonen,” dvs. de ekstreme endene av treningsdata-distribusjonen.
  • Sen modell-kollaps skjer når “modellen sammenfletter ulike moduser av de opprinnelige distribusjonene og konvergerer til en distribusjon som ligner lite på den opprinnelige, ofte med svært liten varians.”

Årsaker til modell-kollaps

For AI-utøvere å løse dette problemet, er det essensielt å forstå årsakene til modell-kollaps, gruppert i to hovedkategorier:

  1. Statistisk approksimasjonsfeil: Dette er den primære feilen forårsaket av det begrensede antallet prøver, og den forsvinner når antallet prøver nærmer seg uendelig.
  2. Funksjonell approksimasjonsfeil: Denne feilen stammer fra at modellene, som nevrale nettverk, ikke kan fange den sanne underliggende funksjonen som må læres fra data.
Eksempel på årsaker til modell-kollaps

Et eksempel på modellresultater for flere modellgenerasjoner påvirket av modell-kollaps. Kilde

Hvordan AI-tilbakemeldingsløkken påvirkes av AI-generert innhold

Når AI-modeller trenes på AI-generert innhold, har det en destruktiv effekt på AI-tilbakemeldingsløkker og kan forårsake mange problemer for om-trente AI-modeller, som:

  • Modell-kollaps: Som nevnt ovenfor, er modell-kollaps en sannsynlig mulighet hvis AI-tilbakemeldingsløkken inneholder AI-generert innhold.
  • Katastrofal glemsel: En vanlig utfordring i kontinuerlig læring er at modellen glemmer tidligere prøver når den lærer ny informasjon. Dette kalles katastrofal glemsel.
  • Data-forurensning: Dette refererer til å mate manipulerende syntetisk data inn i AI-modellen for å kompromittere ytelsen, og får den til å produsere unøyaktige utdata.

Hvordan bedrifter kan opprette en robust tilbakemeldingsløkke for sine AI-modeller

Bedrifter kan dra nytte av å bruke tilbakemeldingsløkker i sine AI-arbeidsflyter. Følg de tre hovedstegene nedenfor for å forbedre AI-modellenes ytelse.

  • Tilbakemelding fra fageksperter: Fageksperter er svært kunnskapsrike i sine domener og forstår bruken av AI-modeller. De kan tilby innsikt for å øke modellens tilpasning til forholdene i den virkelige verden, og gi en høyere sjanse for korrekte resultater. De kan også bedre styre og håndtere AI-generert data.
  • Velg relevante modellkvalitetsmetrikker: Velg den riktige evalueringmetrikken for den riktige oppgaven og overvåk modellen i produksjon basert på disse målene for å sikre modellkvalitet. AI-utøvere kan også bruke MLOps-verktøy for automatisert evaluering og overvåking for å varsle alle interessenter hvis modellens ytelse begynner å forringes i produksjon.
  • Streng data-kurering: Som produksjonsmodeller om-trenes på nye data, kan de glemme tidligere informasjon, så det er viktig å kurere høykvalitetsdata som passer godt med modellens formål. Denne dataen kan brukes til å trene på nytt modellen i påfølgende generasjoner, sammen med brukertilbakemelding for å sikre kvalitet.

For å lære mer om AI-fremgang, gå til Unite.ai.

Haziqa er en dataforsker med omfattende erfaring med å skrive teknisk innhold for AI- og SaaS-selskaper.