De AI Feedback Loop: Het behouden van de productiekwaliteit van modellen in de tijd van AI-gegenereerde inhoud

AI-modellen die in productie zijn geïmplementeerd, hebben een robuust en continu mechanisme voor prestatiebeoordeling nodig. Dit is waar een AI-feedbackloop kan worden toegepast om een consistente modellprestatie te garanderen.

Neem het van Elon Musk:

“Ik denk dat het heel belangrijk is om een feedbackloop te hebben, waarbij je constant nadenkt over wat je hebt gedaan en hoe je het beter kunt doen.”

Voor alle AI-modellen is de standaardprocedure om het model te implementeren en vervolgens periodiek opnieuw te trainen op de laatste real-world data om ervoor te zorgen dat de prestaties niet verslechteren. Maar met de meteorische opkomst van Generatieve AI, is de training van AI-modellen anomaal en foutgevoelig geworden. Dat komt omdat online datasources (het internet) langzaam een mengsel van door mensen gegenereerde en door AI gegenereerde data worden.

Als voorbeeld hebben veel blogs vandaag de dag AI-gegenereerde tekst, aangedreven door LLM’s (Large Language Modules) zoals ChatGPT of GPT-4. Veel datasources bevatten AI-gegenereerde afbeeldingen, gemaakt met DALL-E2 of Midjourney. Bovendien gebruiken AI-onderzoekers synthetische data, gegenereerd met Generatieve AI, in hun modeltrainingspipelines.

Daarom hebben we een robuust mechanisme nodig om de kwaliteit van AI-modellen te garanderen. Dit is waar de behoefte aan AI-feedbackloops nog belangrijker is geworden.

Wat is een AI-Feedbackloop?

Een AI-feedbackloop is een iteratief proces waarbij de beslissingen en uitvoer van een AI-model continu worden verzameld en gebruikt om het model te verbeteren of opnieuw te trainen, wat resulteert in continu leren, ontwikkeling en modelverbetering. In dit proces worden de trainingsdata, modelparameters en algoritmen van het AI-systeem bijgewerkt en verbeterd op basis van input gegenereerd uit het systeem.

Er zijn voornamelijk twee soorten AI-feedbackloops:

1. Positieve AI-Feedbackloops: Wanneer AI-modellen nauwkeurige resultaten produceren die overeenkomen met de verwachtingen en voorkeuren van gebruikers, geven gebruikers positieve feedback via een feedbackloop, wat op zijn beurt de nauwkeurigheid van toekomstige resultaten versterkt. Een dergelijke feedbackloop wordt positief genoemd.
2. Negatieve AI-Feedbackloops: Wanneer AI-modellen onnauwkeurige resultaten produceren, melden gebruikers fouten via een feedbackloop, wat op zijn beurt probeert het systeem te verbeteren door fouten te corrigeren. Een dergelijke feedbackloop wordt negatief genoemd.

Beide soorten AI-feedbackloops maken continue modelontwikkeling en prestatieverbetering mogelijk over tijd. En ze worden niet in isolatie gebruikt. Samen helpen ze AI-modellen in productie te begrijpen wat goed of fout is.

Fasen van AI-Feedbackloops

Een hoogwaardige illustratie van de feedbackmechanisme in AI-modellen. Bron

Het begrijpen van hoe AI-feedbackloops werken is essentieel om het volledige potentieel van AI-ontwikkeling te benutten. Laten we de verschillende fasen van AI-feedbackloops hieronder verkennen.

1. Feedbackverzameling: Verzamel relevante modelresultaten voor evaluatie. Typisch geven gebruikers hun feedback op het modelresultaat, wat vervolgens wordt gebruikt voor opnieuw trainen. Of het kan externe data van het web zijn, gecureerd om systeemprestaties te fijnstellen.
2. Modelhertraining: Met behulp van de verzamelde informatie wordt het AI-systeem opnieuw getraind om betere voorspellingen te doen, antwoorden te geven of specifieke activiteiten uit te voeren door modelparameters of gewichten te fijnstellen.
3. Feedbackintegratie en testen: Na hertraining wordt het model getest en geëvalueerd. Op dit moment wordt feedback van domeinexperts (SME’s) ook opgenomen om problemen buiten de data te benadrukken.
4. Implementatie: Het model wordt opnieuw geïmplementeerd nadat de wijzigingen zijn geverifieerd. Op dit moment moet het model betere prestaties rapporteren op nieuwe real-world data, wat resulteert in een verbeterde gebruikerservaring.
5. Monitoring: Het model wordt continu gemonitord met behulp van metrics om potentiële verslechtering te identificeren, zoals drift. En de feedbackcyclus gaat verder.

De problemen in productiedata en AI-modeluitvoer

Het opbouwen van robuuste AI-systemen vereist een grondig begrip van de potentiële problemen in productiedata (real-world data) en modeluitvoer. Laten we een aantal problemen bekijken die een obstakel vormen voor het garanderen van de nauwkeurigheid en betrouwbaarheid van AI-systemen:

1. Data-drift: Treedt op wanneer het model real-world data ontvangt uit een andere distributie dan de trainingsdatadistributie van het model.
2. Modeldrift: De voorspellende capaciteiten en efficiëntie van het model nemen over tijd af vanwege veranderingen in real-world omgevingen. Dit wordt modeldrift genoemd.
3. AI-modeluitvoer vs. real-world beslissing: AI-modellen produceren onnauwkeurige uitvoer die niet overeenkomt met real-world stakeholderbeslissingen.
4. Vooroordeel en eerlijkheid: AI-modellen kunnen vooroordeel en eerlijkheidsproblemen ontwikkelen. Bijvoorbeeld, in een TED-talk van Janelle Shane, beschrijft ze hoe Amazon (AMZN ) heeft besloten om te stoppen met het werken aan een résumé-sorteringsalgoritme vanwege geslachtsdiscriminatie.

Zodra AI-modellen beginnen te trainen op AI-gegenereerde inhoud, kunnen deze problemen verder toenemen. Hoe? Laten we dit nader bespreken.

AI-Feedbackloops in de tijd van AI-gegenereerde inhoud

Met de snelle adoptie van generatieve AI hebben onderzoekers een fenomeen bestudeerd dat bekend staat als Model Collapse. Ze definiëren model collapse als:

“Een degeneratief proces dat generaties van geleerde generatieve modellen beïnvloedt, waarbij gegenereerde data uiteindelijk de trainingsset van de volgende generatie modellen vervuilen; getraind op vervuilde data, percipiëren ze vervolgens de realiteit verkeerd.”

Model Collapse bestaat uit twee speciale gevallen,

• Vroeg model collapse treedt op wanneer “het model begint met het verlies van informatie over de staarten van de distributie,” d.w.z. de extreme uiteinden van de trainingsdatadistributie.
• Laat model collapse treedt op wanneer “het model verschillende modi van de oorspronkelijke distributies verstrengelt en convergeert naar een distributie die weinig gelijkenis vertoont met de oorspronkelijke, vaak met een zeer kleine variantie.”

Oorzaken van Model Collapse

Voor AI-praktijkmensen is het essentieel om de redenen voor Model Collapse te begrijpen, gegroepeerd in twee hoofdcategorieën:

1. Statistische benaderingsfout: Deze fout wordt veroorzaakt door het eindige aantal monsters en verdwijnt wanneer het aantal monsters dichter bij oneindig komt.
2. Funktionele benaderingsfout: Deze fout ontstaat wanneer modellen, zoals neurale netwerken, falen om de onderliggende functie te leren die moet worden geleerd uit de data.

Een voorbeeld van modeluitvoer voor meerdere modelgeneraties die worden beïnvloed door Model Collapse. Bron

Hoe AI-Feedbackloops worden beïnvloed door AI-gegenereerde inhoud

Wanneer AI-modellen trainen op AI-gegenereerde inhoud, heeft dit een destructief effect op AI-feedbackloops en kan dit veel problemen veroorzaken voor de opnieuw getrainde AI-modellen, zoals:

• Model Collapse: Zoals hierboven uitgelegd, is Model Collapse een waarschijnlijke mogelijkheid als de AI-feedbackloop AI-gegenereerde inhoud bevat.
• Catastrofale vergetelheid: Een typische uitdaging in continue leren is dat het model eerder geleerde monsters vergeet wanneer het nieuwe informatie leert. Dit wordt catastrofale vergetelheid genoemd.
• Dataverontreiniging: Dit verwijst naar het voeden van manipulatieve synthetische data in het AI-model om de prestaties te compromitteren, waardoor het model onnauwkeurige uitvoer produceert.

Hoe bedrijven een robuuste feedbackloop voor hun AI-modellen kunnen creëren?

Bedrijven kunnen profiteren van het gebruik van feedbackloops in hun AI-workflows. Volg de drie belangrijkste stappen hieronder om de prestaties van uw AI-modellen te verbeteren.

• Feedback van domeinexperts: Domeinexperts zijn zeer kundig in hun domein en begrijpen het gebruik van AI-modellen. Ze kunnen inzichten bieden om de modeluitvoer te verbeteren en de kans op correcte resultaten te vergroten. Bovendien kunnen ze beter AI-gegenereerde data beheren en controleren.
• Kies relevante modelkwaliteitsmetrics: Het kiezen van de juiste evaluatiemetric voor de juiste taak en het monitoren van het model in productie op basis van deze metrics kan helpen om modelkwaliteit te garanderen. AI-praktijkmensen gebruiken ook MLOps-tools voor geautomatiseerde evaluatie en monitoring om alle stakeholders te waarschuwen als de modelprestaties in productie beginnen af te nemen.
• Streng dataselectie: Aangezien productmodellen opnieuw worden getraind op nieuwe data, kunnen ze vergeten wat ze eerder hebben geleerd, dus is het cruciaal om hoge-kwaliteit data te selecteren die overeenkomt met het doel van het model. Deze data kan worden gebruikt om het model opnieuw te trainen in latere generaties, samen met gebruikersfeedback om kwaliteit te garanderen.

Om meer te leren over AI-ontwikkelingen, ga naar Unite.ai.