De Strijd om AI te Stoppen bij het Valsspelen bij Tests

Nieuwe onderzoeksresultaten van een Chinese universiteit bieden een inzicht in waarom generatieve natuurlijke taalverwerkingsmodellen zoals GPT-3 de neiging hebben om ‘valsspelen’ wanneer ze een moeilijke vraag krijgen, antwoorden produceren die technisch correct kunnen zijn, maar zonder enig echt begrip van waarom het antwoord correct is; en waarom ze weinig of geen vermogen tonen om de logica achter hun ‘gemakkelijke’ antwoorden uit te leggen. De onderzoekers stellen ook enkele nieuwe methoden voor om de systemen ‘harder te laten studeren’ tijdens de trainingsfase.

Het probleem is tweevoudig: ten eerste ontwerpen we systemen die proberen resultaten te behalen met zo min mogelijk middelen. Zelfs waar, zoals bij GPT-3, de middelen aanzienlijk groter kunnen zijn dan het gemiddelde NLP-onderzoeksproject, deze cultuur van resultaatgerichte optimalisatie doorsijpelt nog steeds de methodologie, omdat het de academische conventie is gaan domineren.

Dit gebeurt omdat het model ‘shortcut-antwoorden’ leert lang voordat het meer ingewikkelde soorten kennisverwerving leert. Aangezien een toename van de nauwkeurigheid vaak ondiscrimineerd wordt beloond tijdens de training, prioriteert het model vervolgens elke benadering die het in staat stelt om een vraag ‘glad’ te beantwoorden, zonder echt inzicht.

Een Vroege Neiging om te Valsspelen

Dit gebeurt omdat het model ‘shortcut-antwoorden’ leert lang voordat het meer ingewikkelde soorten kennisverwerving leert. Aangezien een toename van de nauwkeurigheid vaak ondiscrimineerd wordt beloond tijdens de training, prioriteert het model vervolgens elke benadering die het in staat stelt om een vraag ‘glad’ te beantwoorden, zonder echt inzicht.

AI de ‘Gemakkelijke’ Antwoorden Voeren

Het tweede probleem is dat, hoewel recente onderzoeksinitiatieven het neigen van AI om op deze manier te ‘valsspelen’ hebben bestudeerd, en het fenomeen van ‘shortcuts’ hebben geïdentificeerd, er tot nu toe geen inspanning is geweest om ‘shortcut’-mogelijk makend materiaal in een contribuerende dataset te classificeren, wat de logische eerste stap zou zijn in het aanpakken van wat mogelijk een fundamentele architectonische fout in machineleesbegripsysteemen (MRC) blijkt te zijn.

De nieuwe paper, een samenwerking tussen het Wangxuan Institute of Computer Technology en de MOE Key Laboratory of Computational Linguistics aan de Peking University, test verschillende taalmodellen tegen een nieuw geannoteerde dataset die classificaties bevat voor ‘gemakkelijke’ en ‘moeilijke’ oplossingen voor een mogelijke vraag.

Bron: https://arxiv.org/pdf/2106.01024.pdf

De dataset gebruikt parafraseren als criterium voor de meer ingewikkelde en diepe antwoorden, aangezien een semantisch begrip noodzakelijk is om verworven kennis te herschrijven. In tegenstelling tot de ‘shortcut’-antwoorden, die tokens zoals datums en andere encapsulerende trefwoorden kunnen gebruiken om een antwoord te produceren dat feitelijk correct is, maar zonder enige context of redenering.

De shortcut-component van de annotaties omvat vraagwoordovereenkomst (QWM) en eenvoudige overeenkomst (SpM). Voor QWM gebruikt het model entiteiten die zijn geëxtraheerd uit de geleverde tekstgegevens en gooit het de context weg; voor SpM identificeert het model de overlapping tussen antwoordsentences en vragen, die beide in de trainingsgegevens worden geleverd.

Shortcut-gegevens Bijna ‘Viraal’ in Invloed in een Dataset

De onderzoekers beweren dat datasets de neiging hebben om een hoog percentage shortcut-vragen te bevatten, waardoor getrainde modellen afhankelijk worden van shortcut-trucs.

De twee modellen die in de experimenten werden gebruikt, waren BiDAF en Google’s BERT-base. De onderzoekers observeren dat, zelfs wanneer ze getraind worden op dataset-varianten met een hoger percentage ‘moeilijke’ vragen, beide modellen nog steeds beter presteren op shortcut-vragen dan op moeilijkere parafrase-vragen, ondanks het kleine aantal voorbeelden in de datasets.

Dit presenteert ‘shortcut-gegevens’ bijna in de context van een virus – dat er heel weinig van hoeft te zijn in een dataset om het te laten adopteren en prioriteren in de training, onder conventionele normen en praktijken in NLP.

Het Valsspelen Bewijzen

Een methode die het onderzoek gebruikt om te bewijzen hoe de kwetsbaarheid van een shortcut-antwoord is, is om een ‘gemakkelijk’ entiteitwoord te vervangen door een anomaal woord. Waar een shortcut-methode is gebruikt, kan de logica van het ‘gevalste’ antwoord niet worden geleverd; maar waar het antwoord werd geleverd vanuit een dieper context en semantische evaluatie van een bredere reeks bijdragende tekst, is het mogelijk voor het systeem om de fout te deconstrueren en een correct antwoord te reconstrueren.

Vervanging van ‘Beyoncé’ (een persoon) door ‘Amerika’ (een locatie), onthult of het model enige achtergrondlogica voor zijn antwoord heeft.

Shortcuts als Gevolg van een Economische Imperatief

Met betrekking tot enkele van de architectonische redenen waarom shortcuts zo geprioriteerd worden in NLP-trainingsworkflows, merken de auteurs op ‘MRC-modellen kunnen de shortcut-trucs leren, zoals QWM, met minder computationele middelen dan de begripsuitdagingen, zoals het identificeren van parafraseren’.

Dit kan een onbedoeld gevolg zijn van standaardoptimalisatie- en middelenbesparende filosofieën in benaderingen van machineleesbegrip, en de druk om resultaten te behalen met beperkte middelen in korte tijdskaders.

De onderzoekers merken ook op:

‘[Aangezien] de shortcut-truc kan worden gebruikt om de meeste trainingsvragen correct te beantwoorden, kunnen de beperkte onopgeloste vragen die overblijven de modellen niet motiveren om geavanceerde oplossingen te verkennen die uitdagende vaardigheden vereisen.’

Als de resultaten van het onderzoek vervolgens worden bevestigd, zou het kunnen blijken dat het uitgebreide en snel groeiende veld van datapreprocessing ‘verborgen hulpmiddelen’ in gegevens moet beschouwen als een probleem dat op lange termijn moet worden aangepakt, of anders NLP-architecturen moet herzien om moeilijkere routines voor gegevensinname te prioriteren.