De AI Feedback Loop: Het behoud van productiekwaliteit van modellen in de leeftijd van AI-gegenereerde inhoud

Production-geïmplementeerde AI-modellen hebben een robuuste en continue prestatiebeoordelingsmechanisme nodig. Hier komt een AI-feedbackloop om de hoek kijken om consistent modelprestaties te waarborgen.

Neem het van Elon Musk:

“Ik denk dat het heel belangrijk is om een feedbackloop te hebben, waarbij je constant nadenkt over wat je hebt gedaan en hoe je het beter kunt doen.”

Voor alle AI-modellen is de standaardprocedure om de model te implementeren en vervolgens periodiek opnieuw te trainen op de laatste real-world data om ervoor te zorgen dat de prestaties niet verslechteren. Maar met de meteoritische opkomst van Generative AI, is AI-modeltraining anomaal en foutgevoelig geworden. Dat komt omdat online datbronnen (het internet) langzaam een mengsel van door mensen gegenereerde en AI-gegenereerde data worden.

Bijvoorbeeld, veel blogs vandaag de dag hebben AI-gegenereerde tekst die wordt aangedreven door LLM’s (Large Language Modules) zoals ChatGPT of GPT-4. Veel datbronnen bevatten AI-gegenereerde afbeeldingen die zijn gemaakt met DALL-E2 of Midjourney. Bovendien gebruiken AI-onderzoekers synthetische data die is gegenereerd met behulp van Generative AI in hun modeltrainingspijplijn.

Daarom hebben we een robuust mechanisme nodig om de kwaliteit van AI-modellen te waarborgen. Hier komt de noodzaak voor AI-feedbackloops om de hoek kijken.

Wat is een AI Feedback Loop?

Een AI-feedbackloop is een iteratief proces waarbij de beslissingen en uitvoer van een AI-model continue worden verzameld en gebruikt om het model te verbeteren of opnieuw te trainen, wat resulteert in continue leren, ontwikkeling en modelverbetering. In dit proces worden de trainingsdata, modelparameters en algoritmen van het AI-systeem bijgewerkt en verbeterd op basis van invoer gegenereerd uit het systeem.

Voornamelijk zijn er twee soorten AI-feedbackloops:

1. Positieve AI Feedback Loops: Wanneer AI-modellen nauwkeurige resultaten produceren die overeenkomen met de verwachtingen en voorkeuren van gebruikers, geven gebruikers positieve feedback via een feedbackloop, die op zijn beurt de nauwkeurigheid van toekomstige resultaten versterkt. Een dergelijke feedbackloop wordt positief genoemd.
2. Negatieve AI Feedback Loops: Wanneer AI-modellen onnauwkeurige resultaten produceren, melden gebruikers fouten via een feedbackloop die op zijn beurt probeert de stabiliteit van het systeem te verbeteren door fouten te verhelpen. Een dergelijke feedbackloop wordt negatief genoemd.

Beide soorten AI-feedbackloops maken continue modelontwikkeling en prestatieverbetering over tijd mogelijk. En ze worden niet in isolatie gebruikt. Samen helpen ze production-geïmplementeerde AI-modellen te begrijpen wat goed of fout is.

Fasen Van AI Feedback Loops

Een hoogwaardige illustratie van de feedbackmechanisme in AI-modellen. Bron

Het begrijpen van hoe AI-feedbackloops werken is van groot belang om het volledige potentieel van AI-ontwikkeling te benutten. Laten we de verschillende fasen van AI-feedbackloops hieronder verkennen.

1. Feedback Verzamelen: Verzamel relevante modelresultaten voor evaluatie. Typisch geven gebruikers hun feedback op het modelresultaat, die vervolgens wordt gebruikt voor opnieuw trainen. Of het kan externe data van het web zijn die zijn gecureerd om systeemprestaties te fijnen.
2. Model Opnieuw Trainen: Met behulp van de verzamelde informatie wordt het AI-systeem opnieuw getraind om betere voorspellingen te doen, antwoorden te geven of bepaalde activiteiten uit te voeren door de modelparameters of gewichten te verfijnen.
3. Feedback Integreren & Testen: Na opnieuw trainen wordt het model opnieuw getest en geëvalueerd. Op dit stadium wordt feedback van Subject Matter Experts (SME’s) ook opgenomen om problemen buiten de data te benadrukken.
4. Implementatie: Het model wordt opnieuw geïmplementeerd nadat de wijzigingen zijn geverifieerd. Op dit stadium zou het model betere prestaties moeten rapporteren op nieuwe real-world data, wat resulteert in een verbeterde gebruikerservaring.
5. Bewaken: Het model wordt continu bewaakt met behulp van metrics om potentiële verslechtering, zoals drift, te identificeren. En de feedbackcyclus gaat verder.

De Problemen In Productie Data & AI Model Uitvoer

Het opbouwen van robuuste AI-systemen vereist een grondige kennis van de potentiële problemen in productie data (real-world data) en modeluitvoer. Laten we een aantal problemen bekijken die een hindernis vormen voor het waarborgen van de nauwkeurigheid en betrouwbaarheid van AI-systemen:

1. Data Drift: Treedt op wanneer het model real-world data begint te ontvangen van een andere distributie in vergelijking met de trainingsdatadistributie van het model.
2. Model Drift: De voorspellende capaciteiten en efficiëntie van het model nemen over tijd af als gevolg van veranderende real-world omgevingen. Dit wordt modeldrift genoemd.
3. AI Model Uitvoer Vs. Real-world Beslissing: AI-modellen produceren onnauwkeurige uitvoer die niet overeenkomt met real-world stakeholderbeslissingen.
4. Bias & Fairness: AI-modellen kunnen bias en fairnessproblemen ontwikkelen. Bijvoorbeeld, in een TED-talk van Janelle Shane, beschrijft ze Amazon’s beslissing om te stoppen met het werken aan een résumé-sorteer-algoritme vanwege geslachtsdiscriminatie.

Zodra AI-modellen beginnen te trainen op AI-gegenereerde inhoud, kunnen deze problemen verder toenemen. Hoe? Laten we dit in meer detail bespreken.

AI Feedback Loops In De Leeftijd Van AI-gegenereerde Inhoud

In de nasleep van de snelle adoptie van generatieve AI, hebben onderzoekers een fenomeen bestudeerd dat bekend staat als Model Collapse. Zij definiëren model collapse als:

“Een degeneratief proces dat generaties van geleerde generatieve modellen beïnvloedt, waarbij gegenereerde data uiteindelijk de trainingsset van de volgende generatie modellen verontreinigen; getraind op verontreinigde data, gaan ze dan de realiteit verkeerd begrijpen.”

Model Collapse bestaat uit twee speciale gevallen,

• Vroeg Model Collapse gebeurt wanneer “het model begint informatie over de staarten van de distributie te verliezen,” d.w.z. de uiteinden van de trainingsdatadistributie.
• Laat Model Collapse gebeurt wanneer het “model verschillende modi van de oorspronkelijke distributies verstrengelt en convergeert naar een distributie die weinig gelijkenis vertoont met de oorspronkelijke, vaak met een zeer kleine variantie.”

Oorzaken Van Model Collapse

Voor AI-praktijkmensen om dit probleem aan te pakken, is het essentieel om de redenen voor Model Collapse te begrijpen, die zijn gegroepeerd in twee hoofdcategorieën:

1. Statistische Benaderingsfout: Dit is de primaire fout veroorzaakt door het eindige aantal monsters, en het verdwijnt als het aantal monsters dichter bij oneindig komt.
2. Funktionele Benaderingsfout: Deze fout ontstaat wanneer modellen, zoals neurale netwerken, falen om de onderliggende functie te vangen die moet worden geleerd uit de data.

Een voorbeeld van modelresultaten voor meerdere modelgeneraties die worden beïnvloed door Model Collapse. Bron

Hoe AI Feedback Loop Wordt Beïnvloed Door AI-gegenereerde Inhoud

Wanneer AI-modellen trainen op AI-gegenereerde inhoud, heeft het een destructief effect op AI-feedbackloops en kan het veel problemen veroorzaken voor de opnieuw getrainde AI-modellen, zoals:

• Model Collapse: Zoals hierboven uitgelegd, is Model Collapse een waarschijnlijke mogelijkheid als de AI-feedbackloop AI-gegenereerde inhoud bevat.
• Catastrofale Vergetelheid: Een typische uitdaging in continue leren is dat het model eerder geleerde monsters vergeet wanneer het nieuwe informatie leert. Dit wordt catastrofale vergetelheid genoemd.
• Data Verontreiniging: Het verwijst naar het voeden van manipulatieve synthetische data in het AI-model om de prestaties te compromitteren, waardoor het onnauwkeurige uitvoer produceert.

Hoe Bedrijven Een Robuuste Feedback Loop Voor Hun AI-Modellen Kunnen Maken?

Bedrijven kunnen profiteren van het gebruik van feedbackloops in hun AI-workflows. Volg de drie belangrijkste stappen hieronder om de prestaties van uw AI-modellen te verbeteren.

• Feedback Van Subject Matter Experts: SME’s zijn zeer kundig in hun domein en begrijpen het gebruik van AI-modellen. Zij kunnen inzichten bieden om modeluitvoer te verhogen en beter te laten aansluiten bij real-world instellingen, waardoor de kans op correcte resultaten toeneemt. Ook kunnen zij AI-gegenereerde data beter beheren en controleren.
• Kies Relevante Modelkwaliteitsmetrics: Het kiezen van de juiste evaluatiemetric voor de juiste taak en het bewaken van het model in productie op basis van deze metrics kan modelkwaliteit waarborgen. AI-praktijkmensen gebruiken ook MLOps-tools voor geautomatiseerde evaluatie en bewaking om alle stakeholders te waarschuwen als modelprestaties in productie beginnen te verslechteren.
• Streng Data Cureren: Aangezien production-modellen opnieuw worden getraind op nieuwe data, kunnen ze vergeten oude informatie, dus het is cruciaal om hoogwaardige data te cureren die goed aansluit bij het doel van het model. Deze data kan worden gebruikt om het model opnieuw te trainen in latere generaties, samen met gebruikersfeedback om kwaliteit te waarborgen.

Om meer te leren over AI-vooruitgang, ga naar Unite.ai.