Hvordan påvirker syntetisk data AI-hallucinationer?

Selvom syntetisk data er et kraftfuldt værktøj, kan det kun reducere kunstig intelligens-hallucinationer under bestemte omstændigheder. I næsten alle andre tilfælde vil det forstærke dem. Hvorfor er det så? Hvad betyder dette fænomen for dem, der har investeret i det?

Hvordan adskiller syntetisk data sig fra rigtig data?

Syntetisk data er information, der genereres af AI. I stedet for at blive indsamlet fra virkelige begivenheder eller observationer, bliver det produceret kunstigt. Men det ligner det originale nok til at producere nøjagtig og relevant output. Det er i hvert fald ideen.

For at oprette en kunstig dataset træner AI-ingeniører en generativ algoritme på en rigtig relationel database. Når den bliver bedt om det, producerer den en anden sæt, der ligner den første, men indeholder ingen ægte information. Mens de generelle tendenser og matematiske egenskaber forbliver intakte, er der nok støj til at maskere de originale relationer.

En AI-genereret dataset går ud over deidentificering, idet den replicerer den underliggende logik af relationer mellem felter i stedet for blot at erstatte felter med ækvivalente alternativer. Da den indeholder ingen identificerende detaljer, kan virksomheder bruge den til at omgå privatlivs- og ophavsretsregler. Endnu vigtigere er, at de kan frit dele eller distribuere den uden frygt for en krænkelse.

Men falsk information bruges oftest til supplerende formål. Virksomheder kan bruge den til at berige eller udvide prøvestørrelser, der er for små, så de bliver store nok til at træne AI-systemer effektivt.

Formindsker syntetisk data AI-hallucinationer?

Nogle gange henviser algoritmer til ikke-eksisterende begivenheder eller gør logisk umulige forslag. Disse hallucinationer er ofte meningsløse, misvisende eller forkerte. For eksempel kunne en stor sprogmodel skrive en vejledning om, hvordan man kan domesticere løver eller blive læge i en alder af 6 år. Men de er ikke alle så ekstreme, hvilket kan gøre det svært at genkende dem.

Hvis den er ordentligt kurateret, kan kunstig data mindske disse tilfælde. En relevant og ægte træningsdatabase er grundlaget for enhver model, så det står til fornuft, at jo mere information nogen har, jo mere nøjagtig vil modellens output være. En supplerende dataset muliggør skalerbarhed, selv for niche-applikationer med begrænsede offentlige oplysninger.

Debiasing er en anden måde, en syntetisk database kan mindske AI-hallucinationer. Ifølge MIT Sloan School of Management kan den hjælpe med at adresse fordomme, fordi den ikke er begrænset til den originale prøvestørrelse. Fagfolk kan bruge realistiske detaljer til at udfylde hullerne, hvor bestemte underpopulationer er under- eller overrepræsenterede.

Hvordan gør kunstig data hallucinationer værre

Da intelligente algoritmer ikke kan resonere eller kontekstualisere information, er de tilbøjelige til hallucinationer. Generative modeller — forudtrænede store sprogmodeller i særdeleshed — er særligt sårbare. På visse måder forstærker kunstige fakta problemet.

Forstærkning af fordomme

Ligesom mennesker kan AI lære og reproducere fordomme. Hvis en kunstig database overvurderer visse grupper, mens den underrepræsenterer andre — hvilket er bekymrende let at gøre utilsigtet — vil dens beslutningslogik skæve, hvilket negativt påvirker output-nøjagtigheden.

Et lignende problem kan opstå, når virksomheder bruger falsk data til at eliminere virkelige fordomme, fordi den måske ikke længere afspejler virkeligheden. For eksempel, da over 99% af brystkræft forekommer hos kvinder, kan brugen af supplerende information til at balancere repræsentationen forstærke diagnoser.

Intersektionelle hallucinationer

Intersektionalitet er en sociologisk ramme, der beskriver, hvordan demografiske faktorer som alder, køn, race, beskæftigelse og klasse intersectionerer. Den analyserer, hvordan gruppers overlappende sociale identiteter resulterer i unikke kombinationer af diskrimination og privilegier.

Når en generativ model bedes om at producere kunstige detaljer baseret på, hvad den er trænet på, kan den generere kombinationer, der ikke eksisterer i den originale eller er logisk umulige.

Ericka Johnson, en professor i køn og samfund ved Linköping Universitet, arbejdede med en maskinlæringsforsker for at demonstrere dette fænomen. De brugte en generativ adversarial network til at oprette kunstige versioner af USA’s folketællingsdata fra 1990.

Straks bemærkede de et glærende problem. Den kunstige version havde kategorier med titler som “kone og single” og “aldrig-gift husbænd”, begge af hvilke var intersektionelle hallucinationer.

Uden ordentlig kuratering vil den kunstige database altid overrepræsentere dominante underpopulationer i datasets, mens den underrepræsenterer — eller endda udelader — underrepræsenterede grupper. Edge-cases og outliers kan blive ignoreret helt til fordel for dominante tendenser.

Model-kollaps

En overafhængighed af kunstige mønstre og tendenser fører til model-kollaps — hvor en algoritmes præstation drastisk forringes, da den bliver mindre tilpasningsdygtig til virkelige observationer og begivenheder.

Dette fænomen er særligt tydeligt i næste-generations generative AI. Gentagen brug af en kunstig version til at træne dem resulterer i en selv-forbrugende løkke. En studie fandt, at deres kvalitet og recall falder progressivt uden tilstrækkeligt mange nye, faktiske tal i hver generation.

Overfitning

Overfitning er en overafhængighed af træningsdata. Algoritmen præsterer godt initialt, men vil hallucinere, når den præsenteres med nye datapunkter. Syntetisk information kan forstærke dette problem, hvis den ikke nøjagtigt afspejler virkeligheden.

Konsekvenserne af fortsat brug af syntetisk data

Markedet for syntetisk data er i vækst. Virksomheder i denne niche-industri højde omkring 328 millioner dollars i 2022, op fra 53 millioner dollars i 2020 — en stigning på 518% på kun 18 måneder. Det er værd at bemærke, at dette kun er offentligt kendt finansiering, hvilket betyder, at det faktiske beløb kan være endnu højere. Det er sikkert at sige, at virksomheder er meget investeret i denne løsning.

Hvis virksomheder fortsætter med at bruge en kunstig database uden ordentlig kuratering og debiasing, vil modellens præstation gradvist forringe, hvilket kan ødelægge deres AI-investeringer. Resultaterne kan være mere alvorlige, afhængigt af anvendelsen. For eksempel kan en stigning i hallucinationer i sundhedssektoren resultere i misdiagnoser eller forkerte behandlingsplaner, hvilket kan føre til dårligere patientresultater.

Løsningen vil ikke indebære en tilbagevenden til rigtig data

AI-systemer har brug for millioner, hvis ikke milliarder, af billeder, tekst og videoer til træning, hvoraf meget af det skrabes fra offentlige websites og samles i massive, åbne datasets. Desværre forbruger algoritmerne denne information hurtigere, end mennesker kan generere den. Hvad sker der, når de lærer alt?

Forretningsledere er bekymrede for at ramme “data-muren” — det punkt, hvor al offentlig information på internettet er udtømt. Det kan være tættere, end de tror.

Selvom både mængden af ren tekst på den gennemsnitlige fælles crawl-websted og antallet af internetbrugere vokser med 2% til 4% årligt, løber algoritmerne tør for højkvalitetsdata. Kun 10% til 40% kan bruges til træning uden at kompromittere præstationen. Hvis tendenserne fortsætter, kan den menneskeskabte offentlige informationslager være udtømt allerede i 2026.

I alle sandsynlighed kan AI-sektoren ramme data-muren endnu tidligere. Den generative AI-boom de seneste par år har øget spændingerne over ejerskab og ophavsret. Flere website-ejere bruger Robots Exclusion Protocol — en standard, der bruger en robots.txt-fil til at blokere web-crawlere — eller gør det klart, at deres websted er utilgængeligt.

En studie fra 2024, offentliggjort af en MIT-ledt forskningsgruppe, afslørede, at Colossal Cleaned Common Crawl (C4) dataset — et stort web-crawl-korpus — begrænsninger er på vej op. Over 28% af de mest aktive, kritiske kilder i C4 var fuldstændigt begrænsede. Desuden var 45% af C4 nu betegnet som utilgængeligt ifølge vilkårene.

Hvis virksomheder respekterer disse begrænsninger, vil friskheden, relevansen og nøjagtigheden af virkelige offentlige fakta falde, hvilket tvinger dem til at stole på kunstige databaser. De har måske ikke meget valg, hvis domstolene fastslår, at enhver alternativ løsning er ophavsretskrænkelse.

Fremtiden for syntetisk data og AI-hallucinationer

Da ophavsretslove moderniseres og flere website-ejere gemmer deres indhold fra web-crawlere, vil kunstig dataset-generering blive mere populær. Organisationer må forberede sig på at møde truslen om hallucinationer.