Kampen för att stoppa AI från att fusa på tester

Nya forskningsfynd från ett kinesiskt universitet ger en inblick i varför generativa naturligspråksbehandlingsmodeller som GPT-3 tenderar att “fusa” när de får en svår fråga, och producerar svar som kan vara tekniskt korrekta, men utan någon riktig förståelse för varför svaret är korrekt, och varför de visar liten eller ingen förmåga att förklara logiken bakom sina “enkla” svar. Forskarna föreslår också några nya metoder för att göra systemen “studera hårdare” under utbildningsfasen.

Problemet är dubbelt: först utformar vi system som försöker uppnå resultat snabbt och med en optimal användning av resurser. Även om, som i fallet med GPT-3, resurserna kan vara avsevärt större än vad den genomsnittliga NLP-forskningsprojektet kan erbjuda, så domineras metoden fortfarande av en kultur av resultatdriven optimering, eftersom den har blivit den dominerande akademiska konventionen.

Följaktligen belönar våra utbildningsarkitekturer modeller som konvergerar snabbt och producerar tydligen passande svar på frågor, även om NLP-modellen sedan inte kan motivera sitt svar eller visa hur den kom fram till sina slutsatser.

Tidig benägenhet att fusa

Detta sker eftersom modellen lär sig “genvägsresponser” långt tidigare under utbildningen än den lär sig mer komplicerade former av kunskapsinhämtning. Eftersom ökad noggrannhet ofta belönas ganska odiscriminerat under hela utbildningen, prioriterar modellen sedan alla tillvägagångssätt som låter den svara på en fråga “slätt” och utan riktig insikt.

Eftersom genvägsinlärning oundvikligen kommer att representera de första framgångarna under utbildningen, kommer sessionen naturligt att avvika från den mer svåra uppgiften att inhämta en användbar och mer komplett epistemologisk perspektiv, som kan innehålla djupare och mer insiktsfulla lager av attribut och logik.

Matning av AI med “enkla” svar

Det andra problemet är att även om nyliga forskningsinitiativ har studierat AI:s tendens att “fusa” på detta sätt, och har identifierat fenomenet med “genvägar”, så har det hittills inte funnits någon ansträngning att klassificera “genvägs”-aktiverande material i en bidragande dataset, vilket skulle vara det logiska första steget i att hantera vad som kan visa sig vara en grundläggande arkitektonisk brist i maskinell läsförståelse (MRC)-system.

Den nya artikeln, ett samarbete mellan Wangxuan Institute of Computer Technology och MOE Key Laboratory of Computational Linguistics vid Peking University, testar olika språkmodeller mot en nytt annoterat dataset som innehåller klassificeringar för “enkla” och “svåra” lösningar på en möjlig fråga.

Källa: https://arxiv.org/pdf/2106.01024.pdf

Datasetet använder omskrivning som kriterium för de mer komplicerade och djupa svaren, eftersom en semantisk förståelse är nödvändig för att omformulera erhållen kunskap. I kontrast kan “genvägs”-svaren använda token som datum och andra inkapslade nyckelord för att producera ett svar som är faktiskt korrekt, men utan någon kontext eller resonemang.

Genvägskomponenten i annoteringarna består av frågeordsmatchning (QWM) och enkel matchning (SpM). För QWM använder modellen enheter som extraherats från den tillhandahållna textdata och kastar kontext; för SpM identifierar modellen överlappning mellan svars meningar och frågor, båda som tillhandahålls i utbildningsdata.

Genvägsdata nästan “viral” i inflytande i en dataset

Forskarna hävdar att dataset tenderar att innehålla en hög andel genvägsfrågor, vilket gör att tränade modeller förlitar sig på genvägstrick.

De två modellerna som användes i experimenten var BiDAF och Googles BERT-bas. Forskarna observerar att även när de tränas på dataset-variationer med en högre andel “svåra” frågor, presterar båda modellerna fortfarande bättre på genvägsfrågor än svårare omskrivna frågor, trots det lilla antalet exempel i dataseten.

Detta presenterar “genvägsdata” nästan i kontexten av en virus – att det behöver finnas mycket lite av det i en dataset för att det ska antas och prioriteras under utbildning, enligt konventionella standarder och metoder i NLP.

Bevisa fusket

En metod som forskningen använder för att bevisa hur ömtålig ett genvägs-svar är att ersätta ett “enkelt” entitetsord med ett anomalt ord. Där en genvägsmetod har använts, kan logiken i det “fuskade” svaret inte tillhandahållas; men där svaret tillhandahållits från djupare kontext och semantisk utvärdering av en bredare mängd bidragande text, är det möjligt för systemet att dekonstruera felet och återuppbygga ett korrekt svar.

Att ersätta ‘Beyoncé’ (en person) med ‘Amerika’ (en plats), avslöjar om modellen har någon bakgrundslogik för sitt svar.

Genvägar på grund av ett ekonomiskt imperativ

När det gäller några av de arkitektoniska orsakerna till varför genvägar är så prioriterade i NLP-utbildningsflöden, kommenterar författarna ‘MRC-modeller kan lära sig genvägs-trick, som QWM, med färre beräkningsresurser än utmaningarna i läsförståelse, som att identifiera omskrivning’.

Detta kan vara ett oavsiktligt resultat av standardoptimering och resursbesparande filosofier i tillvägagångssätt för maskinell läsförståelse, och trycket att uppnå resultat med begränsade resurser inom snäva tidsramar.

Forskarna noterar också:

‘[Eftersom] genvägs-tricket kan användas för att svara på de flesta utbildningsfrågorna korrekt, kan de begränsade olösta frågorna som återstår inte motivera modellerna att utforska sofistikerade lösningar som kräver utmanande färdigheter.’

Om artikelnresultaten sedan bekräftas, kan det visa sig att det växande fältet dataförbehandling kan behöva överväga “dolda källor” i data som ett problem som ska hanteras på lång sikt, eller också revidera NLP-arkitekturer för att prioritera mer utmanande rutiner för datainmatning. g skills. Om artiklens resultat sedan bekräftas, kan det visa sig att det växande fältet dataförbehandling kan behöva överväga “dolda källor” i data som ett problem som ska hanteras på lång sikt, eller också revidera NLP-arkitekturer för att prioritera mer utmanande rutiner för datainmatning.