Kampen for at stoppe AI fra at snyde på tests

Nye forskningsresultater fra et kinesisk universitet giver indsigt i, hvorfor generative naturligsprogsbehandlingsmodeller som GPT-3 har tendens til at ‘snyde’, når de stilles et svært spørgsmål, og producerer svar, der kan være teknisk korrekte, men uden nogen reel forståelse af hvorfor svaret er korrekt, og hvorfor de viser lidt eller ingen evne til at forklare logikken bag deres ‘lette’ svar. Forskerne foreslår også nogle nye metoder til at gøre systemerne ‘studere hårdere’ under træningsfasen.

Problemet er todelt: først og fremmest designerer vi systemer, der forsøger at opnå resultater hurtigt og med en optimal brug af ressourcer. Selv hvor, som med GPT-3, ressourcerne kan være betydeligt større end det gennemsnitlige NLP-forskningsprojekt kan mønstre, dominerer denne kultur af resultatorienteret optimering stadig metoden, fordi den er blevet den gængse akademiske konvention.

Dette skyldes, at vores træningsarkitekturer belønner modeller, der konvergerer hurtigt og producerer åbenbart passende svar på spørgsmål, selv om NLP-modellen herefter ikke kan retfærdiggøre sit svar eller demonstrere, hvordan den nåede til sine konklusioner.

En tidlig disposition til at snyde

Dette sker, fordi modellen lærer ‘genvejssvar’ langt tidligere i træningen end den lærer mere komplicerede former for videnstilegnelse. Da øget nøjagtighed ofte belønnes ret ukritisk under træningen, prioriterer modellen herefter enhver tilgang, der kan lade den besvare et spørgsmål ‘let’ og uden reel indsigt.

Da genvejslæring uundgåeligt vil repræsentere de første succeser under træningen, vil sessionen naturligt tendere væk fra den mere svære opgave at opnå en nyttig og mere komplet epistemologisk perspektiv, der kan indeholde dybere og mere indsigtsfulde lag af attribution og logik.

At fodre AI med ‘lette’ svar

Det andet problem er, at selv om nyere forskningsinitiativer har studieret AI’s tendens til at ‘snyde’ på denne måde og har identificeret fænomenet ‘genveje’, har der indtil nu ikke været nogen forsøg på at klassificere ‘genvejsaktiverende’ materiale i en bidragende dataset, hvilket ville være det logiske første skridt i at adressere, hvad der kan vise sig at være en fundamental arkitektonisk fejl i maskinlæsningssystemer (MRC).

Den nye artikel, et samarbejde mellem Wangxuan Institute of Computer Technology og MOE Key Laboratory of Computational Linguistics ved Peking University, tester forskellige sprogmodeller mod en nyt annoteret dataset, der indeholder klassificeringer for ‘lette’ og ‘svære’ løsninger på et muligt spørgsmål.

Kilde: https://arxiv.org/pdf/2106.01024.pdf

Datasettet bruger omskrivning som kriterium for de mere komplicerede og dybe svar, da en semantisk forståelse er nødvendig for at omformulere erhvervet viden. I modsætning hertil kan ‘genvejssvar’ bruge tokens som datoer og andre indkapslede nøgleord til at producere et svar, der er faktisk korrekt, men uden nogen kontekst eller begrundelse.

Genvejskomponenten af annotationerne omfatter spørgsmålsord-matching (QWM) og simpel matching (SpM). For QWM bruger modellen enheder, der er udtrukket fra den tilførte tekstdata, og kasserer kontekst; for SpM identificerer modellen overlap mellem svar-sætninger og spørgsmål, begge af hvilke er tilført under træningen.

Genvejsdata næsten ‘viral’ i indflydelse i en dataset

Forskerne hævder, at dataset indeholder en høj proportion af genvejsspørgsmål, der får trænede modeller til at afhænge af genvejstricks.

De to modeller, der blev brugt i eksperimenterne, var BiDAF og Google’s BERT-base. Forskerne observerer, at selv når de er trænet på dataset-varianter med en højere proportion af ‘svære’ spørgsmål, udfører begge modeller stadig bedre på genvejsspørgsmål end sværere omskrevne spørgsmål, på trods af det lave antal eksempler i datasettet.

Dette præsenterer ‘genvejsdata’ næsten i konteksten af en virus – at der kun behøves at være meget lidt af det til stede i en dataset for, at det kan adopteres og prioriteres under træning, under konventionelle standarder og praksis i NLP.

At bevise snyden

En metode, som forskningen bruger til at bevise, hvor skrøbelig et genvejssvar er, er at erstatte et ‘let’ entitetsord med et anomalt ord. Hvor en genvejsmetode er blevet brugt, kan logikken bag det ‘snydede’ svar ikke leveres; men hvor svaret blev leveret fra en dybere kontekst og semantisk evaluering af en bredere vifte af bidragende tekst, er det muligt for systemet at dekonstruere fejlen og genopbygge et korrekt svar.

Erstatning af ‘Beyoncé’ (en person) med ‘Amerika’ (en lokalitet) afslører, om modellen har nogen baggrundlogik for sit svar.

Genveje på grund af en økonomisk imperativ

Med hensyn til nogle af de arkitektoniske årsager til, hvorfor genveje er så prioriteret i NLP-træningsworkflows, kommenterer forfatterne ‘MRC-modeller kan lære genvejstricks, som QWM, med færre beregningsressourcer end forståelsesudfordringerne, som identificering af omskrivning’.

Dette kan være et uventet resultat af standardoptimering og ressourcebesparende filosofier i tilgange til maskinlæsning, og presset for at opnå resultater med begrænsede ressourcer i stramme tidsrammer.

Forskerne bemærker også:

‘[Da] genvejstricket kan bruges til at besvare de fleste af træningsspørgsmålene korrekt, kan de begrænsede uløste spørgsmål, der er tilbage, måske ikke motivere modellerne til at udforske sofistikerede løsninger, der kræver udfordrende færdigheder.’

Hvis artiklens resultater herefter bekræftes, kan det synes, at det store og stadig voksende felt for datapraeparation kan behøve at overveje ‘skjulte kradse’ i data som et problem, der skal løses på længere sigt, eller også ændre NLP-arkitekturer for at prioritere mere udfordrende rutiner for dataindtagelse.