Kampen for å stoppe AI fra å svindle på tester

Nye forskningsfunn fra et kinesisk universitet gir en innsikt i hvorfor generative naturligspråklig prosesseringmodeller som GPT-3 har en tendens til å ‘svindle’ når de blir bedt om å svare på vanskelige spørsmål, og produserer svar som kan være teknisk korrekte, men uten noen virkelig forståelse av hvorfor svaret er korrekt; og hvorfor de viser liten eller ingen evne til å forklare logikken bak deres ‘enkle’ svar. Forskerne foreslår også noen nye metoder for å få systemene til å ‘studere harder’ under treningfasen.

Problemet er todelt: først og fremst designerer vi systemer som forsøker å oppnå resultater raskt og med en optimal bruk av ressurser. Selv der hvor, som med GPT-3, resursene kan være betraktelig større enn det gjennomsnittlige NLP-forskningsprosjektet kan mobilisere, preger denne kulturen av resultatorientert optimalisering likevel metoden, fordi den har kommet til å dominere akademisk konvensjon.

Dette skjer fordi modellen lærer ‘snarveier’ langt tidligere i treningen enn den lærer mer kompliserte former for kunnskapsinnsamling. Ettersom økt nøyaktighet ofte belønnes ganske urent i løpet av treningen, prioriterer modellen deretter alle tilnærminger som lar den svare på et spørsmål ‘glatt’, og uten virkelig innsikt.

Ettersom snarveilæring uunngåelig vil representere de første suksessene under treningen, vil sesjonen naturlig tendere bort fra den mer vanskelige oppgaven å tilegne seg en nyttig og mer fullstendig epistemologisk perspektiv, som kan inneholde dypere og mer innsiktsfulle lag av attribusjon og logikk.

En tidlig tendens til å svindle

Dette skjer fordi modellen lærer ‘snarveier’ langt tidligere i treningen enn den lærer mer kompliserte former for kunnskapsinnsamling. Ettersom økt nøyaktighet ofte belønnes ganske urent i løpet av treningen, prioriterer modellen deretter alle tilnærminger som lar den svare på et spørsmål ‘glatt’, og uten virkelig innsikt.

Å mate AI med ‘enkle’ svar

Det andre problemet er at selv om nylige forskningsinitiativer har studert AI’s tendens til å ‘svindle’ på denne måten, og har identifisert fenomenet ‘snarveier’, har det til nå ikke vært noen forsøk på å klassifisere ‘snarvei’-aktiverende materiale i en bidragende datasett, som ville være det logiske første skrittet i å adresse hva som kan vise seg å være en grunnleggende arkitektonisk feil i maskinlesingforståelse (MRC)-systemer.

Den nye artikkelen, et samarbeid mellom Wangxuan Institute of Computer Technology og MOE Key Laboratory of Computational Linguistics ved Peking University, tester ulike språkmodeller mot en nyt annotert datasett som inkluderer klassifiseringer for ‘enkle’ og ‘vanske’ løsninger på et mulig spørsmål.

Kilde: https://arxiv.org/pdf/2106.01024.pdf

Datasettet bruker omskrivning som et kriterium for de mer kompliserte og dyptgående svarene, siden en semantisk forståelse er nødvendig for å omformulere tilegnet kunnskap. I motsetning kan ‘snarvei’-svarene bruke token som datoer og andre innkapslede nøkkelord for å produsere et svar som er faktisk korrekt, men uten noen kontekst eller begrunnelse.

Snarveikomponenten i annotasjonene inkluderer spørsmålsord-matching (QWM) og enkel matching (SpM). For QWM bruker modellen enheter ekstrahert fra den tilførte tekstdataen og forkaster kontekst; for SpM identifiserer modellen overlap mellom svar-setninger og spørsmål, begge av disse er tilført i treningdataene.

Snarveidata nær ‘viral’ i påvirkning i en datasett

Forskerne hevder at datasettene tenderer til å inneholde en høy andel snarvei-spørsmål, som får trente modeller til å avhenge av snarvei-tricks.

De to modellene som ble brukt i eksperimentene var BiDAF og Google’s BERT-base. Forskerne observerer at selv når de er trent på datasettvariasjoner med en høyere andel ‘vanske’ spørsmål, utfører begge modellene likevel bedre på snarvei-spørsmål enn vanskeligere omskrevne spørsmål, til tross for det lille antallet eksempler i datasettene.

Dette presenterer ‘snarveidata’ nesten i konteksten av en virus – at det bare trengs å være svært lite av det til stede i en datasett for at det skal bli adoptert og prioritet i trening, under konvensjonelle standarder og praksis i NLP.

Å bevise svindelen

En metode forskningen bruker for å bevise hvor fragilt et snarvei-svar er, er å erstatte et ‘enkle’ entitetsord med et anomalt ord. Der hvor en snarvei-metode har blitt brukt, kan logikken bak det ‘svindlet’ svaret ikke leveres; men der hvor svaret ble levert fra dypere kontekst og semantisk evaluering av en videre rekke bidragende tekst, er det mulig for systemet å dekonstruere feilen og rekonstruere et korrekt svar.

Erstatte ‘Beyoncé’ (en person) med ‘Amerika’ (en plassering), avslører om modellen har noen bakgrunnslogikk for sitt svar.

Snarveier på grunn av en økonomisk imperativ

Med hensyn til noen av de arkitektoniske grunnene til at snarveier er så prioritet i NLP-treningssystemer, kommenterer forfatterne ‘MRC-modeller kan lære snarvei-tricks, som QWM, med færre beregningsressurser enn utfordringene, som å identifisere omskrivning’.

Dette kan være et uventet resultat av standard optimalisering og ressursbesparende filosofier i tilnærminger til maskinlesingforståelse, og presset for å oppnå resultater med begrensede ressurser i stramme tidsrammer.

Forskerne bemerker også:

‘[Ettersom] snarvei-tricket kan brukes til å svare på de fleste av treningsspørsmålene korrekt, kan de begrensede uløste spørsmålene som gjenstår kanskje ikke motivere modellene til å utforske sofistikerte løsninger som krever utfordrende ferdigheter.’

Hvis papirets resultater senere blir bekreftet, kan det se ut til at det store og stadig voksende feltet dataforbehandling kan trenge å vurdere ‘skjulte kilder’ i data som et problem som må løses på lang sikt, eller også revidere NLP-arkitekturer for å prioritere mer utfordrende rutiner for datainntak.