Den kunstig intelligens feedback-løkke: Opretholdelse af modelkvalitet i tidsalderen for kunstig intelligens-genereret indhold

Produktions-udviklede kunstig intelligens-modeller har brug for en robust og kontinuerlig performance-evalueringmekanisme. Dette er, hvor en kunstig intelligens feedback-løkke kan anvendes for at sikre konstant modelpræstation.

Tag det fra Elon Musk:

“Jeg synes, det er meget vigtigt at have en feedback-løkke, hvor du konstant tænker over, hvad du har gjort, og hvordan du kan gøre det bedre.”

For alle kunstig intelligens-modeller er den standardprocedur at udvikle modellen og derefter periodisk gen-træne den på de seneste realverdensdata for at sikre, at dens præstation ikke forringes. Men med den meteoriske stigning i Generative AI, er kunstig intelligens-modeltræning blevet anomalt og fejlbehæftet. Dette skyldes, at online-datakilder (internettet) langsomt er blevet en blanding af menneske-genereret og kunstig intelligens-genereret data.

For eksempel har mange blogs i dag kunstig intelligens-genereret tekst, der er drevet af LLM’er (Large Language Modules) som ChatGPT eller GPT-4. Mange datakilder indeholder kunstig intelligens-genererede billeder, der er skabt med DALL-E2 eller Midjourney. Desuden bruger kunstig intelligens-forskere syntetisk data, der er genereret med Generative AI, i deres modeltræningspipelines.

Derfor har vi brug for en robust mekanisme til at sikre kvaliteten af kunstig intelligens-modeller. Dette er, hvor behovet for kunstig intelligens feedback-løkker er blevet mere forstærket.

Hvad er en kunstig intelligens feedback-løkke?

En kunstig intelligens feedback-løkke er en iterativ proces, hvor en kunstig intelligens-models beslutninger og output kontinuerligt indsamles og bruges til at forbedre eller gen-træne den samme model, hvilket resulterer i kontinuerlig læring, udvikling og model-forbedring. I denne proces opdateres og forbedres kunstig intelligens-systemets træningsdata, modelparametre og algoritmer baseret på input genereret fra systemet selv.

Primært findes der to typer af kunstig intelligens feedback-løkker:

1. Positive kunstig intelligens feedback-løkker: Når kunstig intelligens-modeller genererer nøjagtige resultater, der er i overensstemmelse med brugernes forventninger og præferencer, giver brugerne positive feedback via en feedback-løkke, som i returnering forstærker nøjagtigheden af fremtidige resultater. En sådan feedback-løkke kaldes positiv.
2. Negative kunstig intelligens feedback-løkker: Når kunstig intelligens-modeller genererer unøjagtige resultater, rapporterer brugerne fejl via en feedback-løkke, som i returnering forsøger at forbedre systemets stabilitet ved at korrigere fejl. En sådan feedback-løkke kaldes negativ.

Begge typer af kunstig intelligens feedback-løkker muliggør kontinuerlig modeludvikling og præstationsforbedring over tid. Og de anvendes ikke eller anvendes i isolation. Sammen hjælper de produktions-udviklede kunstig intelligens-modeller med at vide, hvad der er rigtigt eller forkert.

Stadier af kunstig intelligens feedback-løkker

En højniveau-illustration af feedback-mekanismen i kunstig intelligens-modeller. Kilde

At forstå, hvordan kunstig intelligens feedback-løkker fungerer, er betydningsfuldt for at låse hele potentialet for kunstig intelligens-udvikling op. Lad os udforske de forskellige stadier af kunstig intelligens feedback-løkker nedenfor.

1. Feedback-indsamling: Indsam relevante model-resultater til evaluering. Typisk giver brugerne deres feedback på model-resultatet, som derefter bruges til gen-træning. Eller det kan være eksterne data fra webben, der er kurateret til at finjustere systemets præstation.
2. Model-gen-træning: Med den indsamlede information gen-trænes kunstig intelligens-systemet for at give bedre prædiktioner, give svar eller udføre bestemte handlinger ved at finjustere modelparametrene eller vægte.
3. Feedback-integration og test: Efter gen-træning testes og evalueres modellen igen. På dette stadium inkluderes også feedback fra fageksperter for at fremhæve problemer ud over data.
4. Udrolning: Modellen udrolles igen efter at have verificeret ændringer. På dette stadium skal modellen rapportere bedre præstation på nye realverdensdata, hvilket resulterer i en forbedret brugeroplevelse.
5. Overvågning: Modellen overvåges kontinuerligt ved hjælp af metrikker for at identificere potentiel forringelse, som drift. Og feedback-cyklen fortsætter.

Problemerne i produktionsdata og kunstig intelligens-model-output

Opbygning af robuste kunstig intelligens-systemer kræver en grundig forståelse af de potentielle problemer i produktionsdata (realverdensdata) og model-output. Lad os se på nogle problemer, der kan være en hindring for at sikre nøjagtigheden og pålideligheden af kunstig intelligens-systemer:

1. Data-drift: Forekommer, når modellen begynder at modtage realverdensdata fra en anden distribution i forhold til modellens træningsdata-distribution.
2. Model-drift: Modellens prædiktionsevne og effektivitet mindskes over tid på grund af ændringer i realverdens-miljøet. Dette kaldes model-drift.
3. Kunstig intelligens-model-output vs. realverdens-beslutning: Kunstig intelligens-modeller producerer unøjagtigt output, der ikke er i overensstemmelse med realverdens-interessenters beslutninger.
4. Forudindtagethed og retfærdighed: Kunstig intelligens-modeller kan udvikle forudindtagethed og retfærdighedsproblemer. For eksempel beskriver Janelle Shane i en TED-talk, hvordan Amazon (AMZN ) stoppede med at arbejde på en résumé-sorteringsalgoritme på grund af kønsdiskrimination.

Når kunstig intelligens-modeller begynder at træne på kunstig intelligens-genereret indhold, kan disse problemer øge yderligere. Hvordan? Lad os diskutere dette i mere detalje.

Kunstig intelligens feedback-løkker i tidsalderen for kunstig intelligens-genereret indhold

I kølvandet på den hurtige adoption af generative AI har forskere studeret et fænomen kendt som Model-kollaps. De definerer model-kollaps som:

“En destruktiv proces, der påvirker generationer af lærende generative modeller, hvor genereret data ender med at forurene træningsmængden af den næste generation af modeller; trænet på forurenet data, misforstår de virkeligheden.”

Model-kollaps består af to særlige tilfælde,

• Tidlig model-kollaps sker, når “modellen begynder at miste information om halen af distributionsområdet”, dvs. de ekstreme ender af træningsdata-distributionen.
• Sen model-kollaps sker, når “modellen sammenfletter forskellige modi af de oprindelige distributioner og konvergerer til en distribution, der ligner den oprindelige meget lidt, ofte med meget lille varians.”

Årsager til model-kollaps

For kunstig intelligens-praktikere at løse dette problem er det essentiel at forstå årsagerne til model-kollaps, der er grupperet i to hovedkategorier:

1. Statistisk approximationsfejl: Dette er den primære fejl, der skyldes det endelige antal prøver, og den forsvinder, når antallet af prøver nærmer sig uendeligheden.
2. Funktionel approximationsfejl: Denne fejl opstår, når modellerne, såsom neurale netværk, ikke kan fange den sande underliggende funktion, der skal læres fra data.

Et eksempel på model-resultater for flere model-generationer, der er påvirket af model-kollaps. Kilde

Hvordan kunstig intelligens feedback-løkke påvirkes af kunstig intelligens-genereret indhold

Når kunstig intelligens-modeller træner på kunstig intelligens-genereret indhold, har det en destruktiv effekt på kunstig intelligens feedback-løkker og kan forårsage mange problemer for de gen-trænede kunstig intelligens-modeller, såsom:

• Model-kollaps: Som nævnt ovenfor er model-kollaps en sandsynlig mulighed, hvis kunstig intelligens feedback-løkken indeholder kunstig intelligens-genereret indhold.
• Katastrofalt glemsomhed: En typisk udfordring i kontinuerlig læring er, at modellen glemmer tidligere prøver, når den lærer nye informationer. Dette kaldes katastrofalt glemsomhed.
• Data-forurening: Det refererer til at føre manipulerende syntetisk data ind i kunstig intelligens-modellen for at kompromittere dens præstation, hvilket får den til at producere unøjagtigt output.

Hvordan kan virksomheder oprette en robust feedback-løkke for deres kunstig intelligens-modeller?

Virksomheder kan drage fordel af at bruge feedback-løkker i deres kunstig intelligens-arbejdsgange. Følg de tre hovedtrin nedenfor for at forbedre jeres kunstig intelligens-modellers præstation.

• Feedback fra fageksperter: Fageksperter er meget kundskabsrige i deres domæne og forstår brugen af kunstig intelligens-modeller. De kan give indsigt til at øge model-sammenhæng med realverdens-indstillinger, hvilket giver en højere chance for korrekte resultater. De kan også bedre styre og administrere kunstig intelligens-genereret data.
• Vælg relevante modelkvalitets-metrikker: At vælge den rigtige evaluering-metrik for det rigtige opgave og overvåge modellen i produktion baseret på disse metrikker kan sikre modelkvalitet. Kunstig intelligens-praktikere anvender også MLOps-værktøjer til automatiseret evaluering og overvågning for at advare alle interessenter, hvis modelpræstation begynder at forringe i produktion.
• Streng data-kurering: Da produktions-modeller gen-trænes på nye data, kan de glemme tidligere information, så det er afgørende at kurere høj-kvalitets-data, der er i overensstemmelse med modellens formål. Denne data kan bruges til at gen-træne modellen i efterfølgende generationer sammen med bruger-feedback for at sikre kvalitet.

For at lære mere om kunstig intelligens-fremgang, gå til Unite.ai.