De opkomst van synthetische data en waarom het reële data zal aanvullen in plaats van vervangen

Elon Musk heeft onlangs verklaard dat we de beschikbare menselijke data voor het trainen van AI-modellen hebben uitgeput. Zijn waarschuwing is de laatste commentaar op de noodzaak van nieuwe gegevensbronnen als AI zijn snelle vooruitgang wil blijven behouden. In branches zoals de gezondheidszorg en financiën maken strenge privacyregels de schaarste aan gegevens nog acuter.

Terwijl synthetische data – een mogelijke oplossing voor deze schaarste – niet nieuw is, blijft de belangstelling ervoor groeien, zoals blijkt uit de recente golf van fusies en investeringen in dit veld. Er zijn echter enkele diepe onzekerheden over het gebruik van synthetische data, met name het risico van modelcollapse, waarbij de kwaliteit van de output van een multimodaal Large Language Model (LLM) verslechtert zonder reële gegevens om op te trainen. Of dit probleem onoplosbaar of oplosbaar blijkt, kan een aanzienlijke invloed hebben op de toekomst van generatieve AI (Gen AI).

Wat is synthetische data en hoe wordt het gecreëerd?

Synthetische data wordt kunstmatig gecreëerd in plaats van verzameld uit reële gebeurtenissen. AI-gegenereerde synthetische data is nu de meest voorkomende vorm, waarbij modellen worden getraind op reële gegevens om patronen en correlaties te detecteren en vervolgens nieuwe gegevens te genereren die deze statistische eigenschappen imiteren.

LLM’s worden gebruikt om verschillende soorten synthetische gegevens te genereren, waaronder gestructureerde gegevens, zoals tabulaire gegevens, en ongestructureerde gegevens, zoals vrije teksten, video’s en afbeeldingen. Er worden verschillende methoden gebruikt, afhankelijk van het type gegevens dat wordt geproduceerd.

Bijvoorbeeld zijn twee veelvoorkomende methoden die worden gebruikt voor het genereren van synthetische beeldgegevens GAN’s en diffusiemodellen. GAN’s gebruiken twee neurale netwerken: een generator creëert kunstmatige versies van reële gegevens, terwijl een discriminator bepaalt welke reëel zijn en welke gegenereerd. Door samen te werken, probeert de generator de discriminator te “misleiden”, waardoor de realiteit en diversiteit van de kunstmatige gegevens voortdurend verbeteren. Diffusiemodellen volgen een andere aanpak, waarbij ze leren om reële gegevens te verstoren en vervolgens deze verstoring om te keren om “ruis” te verwijderen. Als ze effectief getraind zijn, kunnen ze hoge-kwaliteit synthetische audio- en visuele gegevens produceren.

De groeiende belangstelling voor synthetische data

Er is al lang interesse in synthetische data. In de afgelopen 5 jaar heeft de snelle ontwikkeling van LLM’s echter zowel de vraag naar synthetische data verhoogd als een effectievere manier om het op grote schaal te genereren. Als gevolg daarvan is het gebruik van synthetische data explosief toegenomen.

Gartner voorspelde dat synthetische data 60% van alle gegevens zou uitmaken die voor het trainen van LLM’s worden gebruikt tegen 2024, tegen slechts 1% in 2021. Er is elke reden om aan te nemen dat deze schatting in grote lijnen juist is. Zo werd Microsoft’s Phi-4-model, dat andere LLM’s overtreft ondanks zijn kleinere formaat, succesvol getraind op voornamelijk synthetische gegevens. Ondertussen onderzoeken de ingenieurs van Amazon’s Alexa het gebruik van een “leraar/leerling”-model waarbij het “leraar”-model synthetische gegevens genereert die vervolgens worden gebruikt om een kleinere “leerling”-model te fijn te tunen.

Deze wijdverbreide adoptie wordt weerspiegeld door grote bewegingen op de markt. De synthetische gegevenssector zag een investeringsboom in 2021-22. Gretel AI en Tonic.ai verworven Series B-rondes van $50 miljoen en $35 miljoen respectievelijk. Deze werden gevolgd door MOSTLY AI die een Series B-ronde van $25 miljoen sloot en Synthesis AI die $17 miljoen verwierf in Series A-financiering.

Onlangs is de trend naar grote overnames gegaan. NVIDIA’s overname van Gretel dit voorjaar zal de technologiegigant zijn eigen werk in dit veld ondersteunen. Evenzo verwierf AI-oplossingenbedrijf SAS de synthetische gegevensstartup Hazy in november 2024.

Het analysebedrijf Cognilytica schatte de markt voor synthetische gegevensgeneratie in 2021 op ongeveer $110 miljoen. Het bedrijf verwacht dat deze tegen 2027 $1,15 miljard zal bereiken. Andere voorspellingen anticiperen op een CAGR van 31% voor de sector, waardoor deze tegen 2030 een waarde van $2,33 miljard zal bereiken.

Modelcollapse

De spannende potentie van synthetische data komt echter met een aanzienlijke nadereffect: modelcollapse. Dit is een fenomeen waarbij LLM’s die uitsluitend op synthetische gegevens worden getraind, minder precieze of minder diverse output produceren.

Terwijl reële gegevens doorgaans complex zijn, worden synthetische gegevens vaak vereenvoudigd en gecondenseerd door modellen. Zo vonden onderzoekers dat de nauwkeurigheid van een model dat was getraind om kankerachtige moedervlekken vanuit foto’s te detecteren omgekeerd evenredig was met de hoeveelheid synthetische trainingsgegevens. Een recente studie van academici van Oxford, Cambridge, Imperial College en de Universiteit van Toronto vond dat het ongeremd gebruik van modelgegenereerde gegevens leidde tot “onherstelbare defecten in het resulterende model.”

Erger nog, de meeste LLM’s zijn “black boxes”, waardoor het moeilijk is om te begrijpen hoe ze op synthetische gegevens zullen reageren. Onderzoekers van Rice University en Stanford concludeerden dat zonder enige verse reële gegevens “toekomstige generatieve modellen gedoemd zijn om hun kwaliteit (precisie) of diversiteit (herhaling) progressief te laten afnemen.”

De voortdurende behoefte aan reële gegevens

Het is duidelijk dat, zelfs met de toename van de vraag naar synthetische gegevens, de behoefte aan reële gegevens blijft bestaan. Sterker nog, de vraag naar hoge-kwaliteit reële gegevens kan zelfs toenemen. De reden hiervoor is tweeledig. Ten eerste zijn reële gegevens altijd nodig om de AI-modellen te trainen die vervolgens synthetische gegevens genereren. Ten tweede is het nodig om reële gegevens te blijven synchroniseren met synthetische gegevens om modelcollapse te voorkomen.

Reële gegevens voor het trainen van synthetische gegevens producerende AI-modellen

Zoals eerder vermeld, wordt de meeste synthetische gegevens vandaag gegenereerd met behulp van Gen AI. En deze Gen AI-modellen moeten worden getraind op reële gegevens om bruikbare synthetische gegevens te kunnen creëren. Dat komt omdat ze alleen synthetische gegevens kunnen creëren door de patronen en statistische eigenschappen van een reële gegevensset te repliceren.

Bedenk het recente voorbeeld van een verzekeringsmaatschappij die synthetische gegevens kon gebruiken om verschillende leveranciers te testen zonder haar gevoelige klantgegevens te compromitteren. Om deze synthetische gegevensset te genereren, die de realiteit nauwkeurig imiteerde, moest het zijn eigen reële gegevens gebruiken om het AI-model te trainen dat vervolgens de synthetische gegevens genereerde.

Reële gegevens voor het mitigeren van modelcollapse

Er zijn meerdere strategieën om het risico van modelcollapse te mitigeren. Deze omvatten het valideren en vervolgens regelmatig controleren van synthetische gegevenssets, en het controleren van de kwaliteit van synthetische gegevens voordat ze in generatieve modellen worden gebruikt. Echter, de meest voorkomende aanpak is om de gegevens te diversifiëren door synthetische gegevens te combineren met menselijke gegevens. Gartner’s enquête vond dat 63% van de respondenten het gebruik van een gedeeltelijk synthetische gegevensset bevorstonden, terwijl slechts 13% zei dat ze volledig synthetische gegevens gebruiken.

Selfs het toevoegen van bescheiden hoeveelheden reële gegevens kan de prestaties van een model aanzienlijk verbeteren. Onderzoekers van de Universiteit van Zuid-Californië vonden dat bedrijven tot 90% van hun reële gegevens kunnen vervangen door synthetische gegevens zonder een aanzienlijke daling in prestaties te zien. Echter, het vervangen van die laatste 10% van de menselijke gegevens resulteert in een aanzienlijke daling.

Kwaliteit telt ook, zoals geïllustreerd door het geval van Microsoft’s succes met Phi-4. Dit LLM werd getraind op voornamelijk synthetische gegevens gegenereerd door GPT-4o. Echter, een groot deel van de pre-trainingsgegevens – een algemene gegevensset die wordt gebruikt voor de eerste fase van training voordat een model wordt fijngesteld – bestond uit zorgvuldig gecureerde, hoge-kwaliteit reële gegevens, waaronder boeken en onderzoeksartikelen.

Potentiële voordelen van synthetische gegevens

Wanneer synthetische gegevens op een intelligente manier worden gebruikt en effectief worden gecombineerd met reële gegevens, hebben ze het potentieel om zes specifieke problemen op te lossen bij het trainen van AI-modellen: schaarste, toegankelijkheid, homogeniteit, vooroordelen, privacyproblemen en kosten.

Gegevensschaarste

Terwijl AI-bedrijven concurreren om marktaandeel te winnen en nieuwe mijlpalen te bereiken, neemt de onverzadigbare vraag naar gegevens om hun LLM’s te trainen toe. Synthetische gegevens hebben het potentieel om deze kloof te dichten, althans volgens onderzoek van Gartner. Echter, het moet worden opgemerkt dat het gebruik van aanzienlijke hoeveelheden reële gegevens in pre-trainingsgegevenssets en voor synchronisatie om modelcollapse te voorkomen nog steeds nodig zal zijn.

Gegevenstoegankelijkheid

Steeds vaker fungeren grote technologiebedrijven als poortwachters als het gaat om gegevens, waardoor een barrière voor toegang ontstaat voor kleinere spelers. Synthetische gegevens hebben het potentieel om Gen AI te democratiseren door grote hoeveelheden trainingsgegevens betaalbaar en toegankelijk te maken. Niettemin zal dit de verantwoordelijkheid van grote technologiebedrijven om toegang tot reële gegevens te verbeteren niet wegnemen, aangezien deze nog steeds nodig zijn voor het trainen van synthetische gegevens producerende modellen.

Gegevenshomogeniteit

In sommige nichetoepassingen, zoals het trainen van AI’s voor autonoom rijden, zijn reële gegevenssets te homogeen. In het geval van rijden kunnen ontwikkelaars synthetische gegevens genereren om lacunes in de gegevens voor ongebruikelijke situaties te vullen. Dit stelt modellen in staat om te trainen voor zeldzame gebeurtenissen op de weg.

Vooroordelen

Sommige reële gegevenssets bevatten inherente vooroordelen, dus synthetische gegevens kunnen worden gegenereerd om ervoor te zorgen dat AI-modellen een meer evenwichtige beeld krijgen. Bijvoorbeeld in de financiële sector heeft de UK’s Financial Conduct Authority (FCA) betoogd dat synthetische gegevens het potentieel hebben om potentiële vooroordelen te counteren die worden veroorzaakt door het feit dat bepaalde groepen ondervertegenwoordigd zijn in menselijke gegevenssets.

Privacy

In sectoren zoals de gezondheidszorg en financiën maken privacyvereisten de schaarste aan gegevens nog acuter. Met synthetische gegevens kunnen bedrijven trainingsgegevenssets voor hun modellen creëren met nichespecifieke gegevens zonder de privacy van hun klanten te schenden. Echter, zoals een rapport in opdracht van de UK’s Royal Society heeft opgemerkt met betrekking tot synthetische gegevens in medisch onderzoek, is er een veronderstelling dat synthetische gegevens “inherent privé” zijn. Dit is een “misvatting”. Zoals de onderzoekers opmerken, kan synthetische gegevens informatie over de gegevens waaruit ze zijn afgeleid, lekken.

Specifiek zijn modellen die zijn getraind op gevoelige gegevens kwetsbaar voor modelinversie-aanvallen, waarbij hackers in staat zijn om delen van een originele gegevensset te reconstrueren.

Kosten

Over het algemeen worden synthetische gegevens gegenereerd tegen een lagere kostprijs dan reële gegevens. Bovendien worden ze gelabeld, wat tijd en kosten bespaart. Op sommige AI-trainingsprojecten wordt tot 80% van het project besteed aan gegevensvoorbereiding, waaronder labeling. Dit verklaart waarom gedeelde bedrijven zijn opgericht om goedkope arbeid te verwerven om aan de gegevensverwerkingsbehoeften van Silicone Valley-giganten te voldoen.

Synthetische gegevens aanvullen in plaats van vervangen van reële gegevens

Deze voordelen van synthetische gegevens kunnen worden benut, mits ze niet worden behandeld als een vervanging voor reële gegevens. In plaats daarvan moet hun rol zijn om reële gegevenssets aan te vullen, waardoor de schaal van beschikbare gegevenspunten kan worden verhoogd.

Om dit in perspectief te plaatsen, wordt Meta’s aanstaande LLM, LLAMA Behemoth, getraind op 30 biljoen gegevenspunten. Het vinden van reële gegevens in deze omvang is een uitdaging, zo niet onmogelijk. Echter, zoals eerder opgemerkt, is het gebruik van reële gegevens nog steeds een must, ofwel voor het trainen van de modellen die synthetische gegevens produceren, ofwel voor synchronisatie met synthetische gegevens om nauwkeurigheid en modelcollapse te voorkomen. Op de schaal waarop LLM’s nu werken, zal er, zelfs als synthetische gegevens een aanzienlijk deel van de gebruikte trainingsgegevens uitmaken, nog steeds een aanzienlijke vraag naar reële gegevens bestaan. En dit betekent dat er complexe kwesties zullen blijven om op te lossen rondom poortwachters, toegang, vooroordelen, kosten en tijd.