Hvordan påvirker syntetisk data AI-hallusinasjoner?

Selv om syntetisk data er et kraftig verktøy, kan det bare redusere AI-hallusinasjoner under bestemte omstendigheter. I nesten alle andre tilfeller vil det forsterke dem. Hvorfor er dette? Hva betyr dette fenomenet for de som har investert i det?

Hvordan er syntetisk data forskjellig fra ekte data?

Syntetisk data er informasjon som genereres av AI. I stedet for å bli samlet inn fra virkelige hendelser eller observasjoner, blir det produsert kunstig. Likevel ligner det originalen nok til å produsere nøyaktig og relevant utgang. Dette er ideen, i alle fall.

For å lage en kunstig datasett, trener AI-ingeniører en generativ algoritme på en ekte relasjonsdatabase. Når den blir bedt om det, produserer den en andre sett som speiler det første, men inneholder ingen ekte informasjon. Mens de generelle trendene og matematiske egenskapene forblir intakte, er det nok støy til å maskere de opprinnelige relasjonene.

En AI-generert datasett går utover deidentifisering, og repliserer den underliggende logikken til relasjonene mellom feltene, i stedet for bare å erstatte feltene med ekvivalente alternativer. Siden det inneholder ingen identifiserende detaljer, kan selskaper bruke det til å unngå personvern og opphavsrettsregler. Mer viktig, kan de fritt dele eller distribuere det uten frykt for brudd.

Likevel, blir feilinformasjon oftere brukt til supplering. Bedrifter kan bruke det til å berike eller utvide prøvestørrelser som er for små, og gjøre dem store nok til å trene AI-systemer effektivt.

Reduserer syntetisk data AI-hallusinasjoner?

Noen ganger henviser algoritmer til ikke-eksisterende hendelser eller gjør logisk umulige forslag. Disse hallusinasjonene er ofte meningsløse, misvisende eller feil. For eksempel, kan en stor språkmodell skrive en instruksjonsartikkel om å temme løver eller bli lege i en alder av 6 år. Likevel, er de ikke alle like ekstreme, noe som kan gjøre det vanskelig å gjenkjenne dem.

Hvis det blir kurert på riktig måte, kan kunstig data mildne disse hendelsene. En relevant, ekte treningdatabase er grunnlaget for enhver modell, så det står til fornuft at jo flere detaljer noen har, jo mer nøyaktig vil modellens utgang være. En supplerende datasett muliggjør skalerbarhet, selv for nisjeapplikasjoner med begrensede offentlige informasjoner.

Debiasing er en annen måte en syntetisk database kan redusere AI-hallusinasjoner. Ifølge MIT Sloan School of Management, kan det hjelpe med å adresse bias fordi det ikke er begrenset til den opprinnelige prøvestørrelsen. Fagfolk kan bruke realistiske detaljer til å fylle gapene hvor bestemte subpopulasjoner er under- eller overrepresentert.

Hvordan gjør kunstig data hallusinasjoner verre

Siden intelligente algoritmer ikke kan resonnere eller kontekstualisere informasjon, er de utsatt for hallusinasjoner. Generative modeller — forhåndsrentede store språkmodeller i særdeleshet — er spesielt sårbare. På noen måter forsterker kunstige fakta problemet.

Bias-forsterkning

Liksom mennesker, kan AI lære og reproducere bias. Hvis en kunstig database overvurderer noen grupper mens de underrepresenterer andre — noe som er bekymringsverdig lett å gjøre utilsiktet — vil dens beslutningslogikk skjeve, og påvirke utgangsakkurasen negativt.

Et lignende problem kan oppstå når selskaper bruker feil data til å eliminere virkelige bias, fordi det måtte ikke lenger reflektere virkeligheten. For eksempel, siden over 99% av brystkreft forekommer hos kvinner, kan bruk av supplerende informasjon til å balansere representasjonen forvrengle diagnoser.

Interseksjonelle hallusinasjoner

Interseksjonalitet er en sosiologisk ramme som beskriver hvordan demografi som alder, kjønn, rase, yrke og klasse krysser hverandre. Den analyserer hvordan gruppens overlappende sosiale identiteter resulterer i unike kombinasjoner av diskriminering og privilegier.

Når en generativ modell blir bedt om å produsere kunstige detaljer basert på hva den har blitt trent på, kan den generere kombinasjoner som ikke eksisterte i originalen eller er logisk umulige.

Ericka Johnson, en professor i kjønn og samfunn ved Linköping Universitet, arbeidet med en maskinlæringsforsker for å demonstrere dette fenomenet. De brukte en generativ adversarial nettverk til å lage kunstige versjoner av USAs folketellingsfigurer fra 1990.

Umiddelbart bemerket de et glarende problem. Den kunstige versjonen hadde kategorier med tittelen “kone og singel” og “aldri gift menn”, begge av disse var interseksjonelle hallusinasjoner.

Uten riktig kurering, vil den kunstige database alltid overrepresentere dominante subpopulasjoner i datasettene, mens de underrepresenterer — eller til og med utelukker — underrepresenterte grupper. Edge-cases og outliers kan bli ignorert fullstendig til fordel for dominante trender.

Modell-kollaps

En overavhengighet av kunstige mønster og trender fører til modell-kollaps — hvor en algoritmes ytelse forringes dramatisk når den blir mindre tilpasningsdyktig til virkelige observasjoner og hendelser.

Dette fenomenet er spesielt tydelig i neste-generasjons generative AI. Repetert bruk av en kunstig versjon til å trene dem resulterer i en selv-forbrukende loop. En studie fant at deres kvalitet og gjentakelse avtar progressivt uten nok ny, faktisk informasjon i hver generasjon.

Overfitting

Overfitting er en overavhengighet av treningdata. Algoritmen utfører godt initialt, men vil hallusinere når den presenteres med nye datapunkter. Kunstig informasjon kan forsterke dette problemet hvis det ikke nøyaktig reflekterer virkeligheten.

Konsekvensene av fortsatt bruk av syntetisk data

Markedet for syntetisk data blomstrer. Selskaper i denne nisjeindustrien samlet inn rundt 328 millioner dollar i 2022, opp fra 53 millioner dollar i 2020 — en økning på 518% på bare 18 måneder. Det er verdt å merke seg at dette bare er offentlig kjent finansiering, hvilket betyr at den faktiske summen kan være enda høyere. Det er trygt å si at selskaper er usedvanlig investert i denne løsningen.

Hvis selskaper fortsetter å bruke en kunstig database uten riktig kurering og debiasing, vil modellens ytelse forringe progressivt, og surt deres AI-investeringer. Resultatene kan være mer alvorlige, avhengig av applikasjonen. For eksempel, i helsevesenet, kan en økning i hallusinasjoner føre til feildiagnoser eller uriktige behandlingsplaner, og føre til dårligere pasientresultater.

Løsningen vil ikke innebære å returnere til ekte data

AI-systemer trenger millioner, hvis ikke milliarder, av bilder, tekst og videoer for trening, mye av dette blir skrapt fra offentlige nettsteder og samlet i massive, åpne datasett. Dessverre, forbruker algoritmer denne informasjonen raskere enn mennesker kan generere den. Hva skjer når de lærer alt?

Forretningsledere er bekymret for å nå dataveggen — punktet hvor all offentlig informasjon på internettet er uttømt. Det kan nærme seg raskere enn de tror.

Selv om både mengden av ren tekst på den gjennomsnittlige vanlige nettstedssiden og antallet internettbrukere vokser med 2% til 4% årlig, løper algoritmer tom for høykvalitetsdata. Bare 10% til 40% kan brukes til trening uten å kompromittere ytelsen. Hvis trendene fortsetter, kan den menneskeskapt offentlig informasjonsbeholdningen være tom i 2026.

I alle sannsynlighet, kan AI-sektoren nå dataveggen enda tidligere. Den generative AI-boomen de siste årene har økt spenningene over informasjons-eierskap og opphavsrett. Flere nettstedseiere bruker Robots Exclusion Protocol — en standard som bruker en robots.txt-fil til å blokkere nettlesere — eller gjør det klart at deres nettsted er utenfor grensene.

En studie fra 2024, publisert av en MIT-ledet forskningsgruppe, avslørte at Colossal Cleaned Common Crawl (C4) datasett — et stort nettlesingskorpus — begrensninger øker. Over 28% av de mest aktive, kritiske kildene i C4 var fullstendig begrenset. I tillegg var 45% av C4 nå merket som utenfor grensene av vilkårene.

Hvis selskaper respekterer disse begrensningene, vil friskheten, relevansen og nøyaktigheten av virkelige offentlige fakta avta, og tvinge dem til å stole på kunstige database. De kan ikke ha mye valg hvis domstolene avgjør at noen alternativer er opphavsrettsbrudd.

Fremtiden for syntetisk data og AI-hallusinasjoner

Ettersom opphavsrettslovene moderniseres og flere nettstedseiere skjuler innholdet sitt fra nettlesere, vil kunstig datasett-generering bli stadig mer populært. Organisasjoner må forberede seg på å møte trusselen av hallusinasjoner.