De strijd om te voorkomen dat AI vals speelt bij tests

Nieuwe onderzoeksresultaten van een Chinese universiteit bieden inzicht in waarom generatieve modellen voor natuurlijke taalverwerking, zoals GPT-3, de neiging hebben om 'vals te spelen' als er een moeilijke vraag wordt gesteld, en antwoorden te produceren die technisch misschien correct zijn, maar zonder enig echt begrip van Waarom het antwoord is juist; en waarom ze weinig of geen vermogen tonen om de logica achter hun 'gemakkelijke' antwoorden uit te leggen. De onderzoekers stellen ook enkele nieuwe methoden voor om de systemen tijdens de trainingsfase 'moeilijker te laten studeren'.

Het probleem is tweeledig: ten eerste ontwerpen we systemen die snel en met een optimaal gebruik van middelen tot resultaten trachten te komen. Zelfs waar, zoals bij GPT-3, de middelen aanzienlijk groter kunnen zijn dan het gemiddelde NLP-onderzoeksproject kan opbrengen, is deze cultuur van resultaatgerichte optimalisatie nog steeds doordrongen van de methodologie, omdat het de academische conventie is gaan domineren.

Bijgevolg belonen onze trainingsarchitecturen modellen die snel convergeren en ogenschijnlijk passende antwoorden op vragen produceren, zelfs als het NLP-model vervolgens niet in staat is om zijn antwoord te rechtvaardigen of aan te tonen hoe het tot zijn conclusies is gekomen.

Een vroege aanleg om vals te spelen

Dit gebeurt omdat het model 'snelkoppelingen' veel eerder in de training leert dan dat het meer gecompliceerde vormen van kennisverwerving leert. Aangezien verhoogde nauwkeurigheid tijdens de training vaak lukraak wordt beloond, geeft het model vervolgens prioriteit aan elke benadering waarmee het een vraag 'soepel' en zonder echt inzicht kan beantwoorden.

Omdat snel leren onvermijdelijk de eerste successen tijdens de training, zal de sessie natuurlijk weggaan van de moeilijkere taak van het verkrijgen van een bruikbaar en vollediger epistemologisch perspectief, dat diepere en meer inzichtelijke lagen van attributie en logica kan bevatten.

AI voeden met de 'gemakkelijke' antwoorden

Het tweede probleem is dat hoewel recente onderzoeksinitiatieven dat wel hebben bestudeerd Omdat AI de neiging heeft om op deze manier te 'vals spelen' en het fenomeen van 'snelkoppelingen' heeft geïdentificeerd, is er tot nu toe geen poging gedaan om materiaal dat 'snelkoppeling' mogelijk maakt te classificeren in een bijdragende dataset, wat de logische eerste stap zou zijn in het aanpakken van wat kan een fundamentele architectonische fout blijken te zijn in MRC-systemen (machine reading comprehension).

De nieuwe papier, een samenwerking tussen het Wangxuan Institute of Computer Technology en het MOE Key Laboratory of Computational Linguistics aan de Universiteit van Peking, test verschillende taalmodellen tegen een nieuw geannoteerde dataset die classificaties bevat voor 'gemakkelijke' en 'moeilijke' oplossingen voor een mogelijke vraag.

Bron: https://arxiv.org/pdf/2106.01024.pdf

De dataset gebruikt parafrasering als criterium voor de meer gecompliceerde en diepgaande antwoorden, aangezien een semantisch begrip nodig is om verkregen kennis te herformuleren. Daarentegen kunnen de 'snelkoppeling'-antwoorden tokens zoals datums en andere inkapselende trefwoorden gebruiken om een ​​antwoord te produceren dat feitelijk juist is, maar zonder enige context of redenering.

De snelkoppelingscomponent van de annotaties bevat vraagwoordovereenkomsten (QWM) en eenvoudige overeenkomsten (SpM). Voor QWM maakt het model gebruik van entiteiten die zijn geëxtraheerd uit de geleverde tekstgegevens en wordt de context overboord gegooid; voor SpM identificeert het model overlap tussen antwoordzinnen en vragen, die beide worden geleverd in de trainingsgegevens.

Snelkoppelingsgegevens bijna 'viraal' in invloed in een dataset

De onderzoekers beweren dat datasets vaak een groot aantal snelkoppelingsvragen bevatten, waardoor getrainde modellen afhankelijk zijn van snelkoppelingstrucs.

De twee modellen die in de experimenten werden gebruikt, waren BiDAF en Google's BERT-baseren. De onderzoekers merken op dat beide modellen, zelfs als ze getraind zijn op datasetvariaties met een groter aandeel 'moeilijke' vragen, nog steeds beter presteren op snelkoppelingsvragen dan moeilijkere geparafraseerde vragen, ondanks het kleine aantal voorbeelden in de datasets.

Dit presenteert 'snelkoppelingsgegevens' bijna in de context van een virus - dat er maar heel weinig van aanwezig hoeft te zijn in een dataset om te worden overgenomen en geprioriteerd in training, onder conventionele standaarden en praktijken in NLP.

De cheat bewijzen

Een methode die het onderzoek gebruikt om te bewijzen hoe kwetsbaar een snel antwoord is, is om een ​​'gemakkelijk' entiteitswoord te vervangen door een abnormaal woord. Waar een snelkoppelingsmethode is gebruikt, kan de logica van het 'bedrogen' antwoord niet worden gegeven; maar waar het antwoord werd gegeven vanuit een diepere context en semantische evaluatie van een breder scala aan bijdragende tekst, is het voor het systeem mogelijk om de fout te deconstrueren en een correct antwoord te reconstrueren.

Door 'Beyoncé' (een persoon) te vervangen door 'Amerika' (een locatie), wordt onthuld of het model een achtergrondlogica heeft voor zijn antwoord.

Snelkoppelingen vanwege een economische noodzaak

Met betrekking tot enkele van de architectonische redenen waarom snelkoppelingen zo geprioriteerd zijn in NLP-trainingsworkflows, geven de auteurs commentaar 'MRC-modellen kunnen de kortere trucs leren, zoals QWM, met minder rekenkracht dan de begripsuitdagingen, zoals het identificeren van parafrasering'.

Dit zou dan een onbedoeld resultaat kunnen zijn van standaardoptimalisatie en filosofieën over het besparen van hulpbronnen in benaderingen van begrijpend lezen door machines, en de druk om resultaten te behalen met beperkte middelen in krappe tijdsbestekken.

De onderzoekers merken ook op:

'[Aangezien] de kortere truc kan worden gebruikt om de meeste trainingsvragen correct te beantwoorden, motiveren de beperkte onopgeloste vragen de modellen mogelijk niet om geavanceerde oplossingen te onderzoeken die uitdagende vaardigheden vereisen.'

Als de resultaten van het artikel vervolgens worden bevestigd, lijkt het erop dat het enorme en steeds groter wordende veld van gegevensvoorverwerking mogelijk 'verborgen wiegjes' in gegevens moet beschouwen als een probleem dat op de lange termijn moet worden aangepakt, of anders NLP-architecturen moet herzien om prioriteit te geven aan meer uitdagende routines voor gegevensopname.