Å få NLP til å utfordre misinformerte spørsmål

Noen spørsmål er ubesvarelige fordi de inneholder feilaktig informasjon – antakelser som personen som hører spørsmålet må filtrere og avvise. Dette antar, naturligvis, at lytteren har nok korrekt informasjon til å utfordre spørsmålet, i stedet for å bruke spørsmålet selv som kilde til (feil) informasjon.

Det er en utfordring for Natural Language Processing (NLP)-systemer som GPT-3, som har en tendens til å ‘hallusinere’ informasjon for å opprettholde dialog.

Nå vil spørsmål som “Når oppfant Marie Curie uran?” sannsynligvis gi deg svaret “Marie Curie oppfant uran i 1898”.

Kilde: https://beta.openai.com/playground (Da Vinci instruct beta).

I virkeligheten ble uran oppdaget i 1789 av den tyske kjemikeren Martin Heinrich Klaproth, mens Curies’ oppdagelse i 1898 var isoleringen av radium.

Problemet med at NLP-systemer ignorerer feilaktige antakelser har kommet i fokus i en rekke offentlige uttalelser i år, inkludert måten Google’s AI-baserte søkeresultater ignorerer feilaktig informasjon i spørsmålet “Når satte Neil Armstrong fot på Mars?” – en feil som fortsatt vises på tidspunktet for skriving av denne artikkelen, og likeledes gjelder for Toy Story‘s Buzz Lightyear, som apparat landet på månen den 21. juli 1969.

Tom Hanks, en annen Toy Story-alumnus, blir også kreditert av Google for å ha landet på månen i 1970, til tross for at hans Apollo 13-karakter, astronaut Jim Lovell, er mest kjent for ikke å ha oppnådd dette.

Å håndtere antakelsesproblemer i NLP-utvekslinger

Nå er Google Research, sammen med forskere fra John Hopkins University og Brown University, i ferd med å undersøke nye maskinlæringsmetoder som kan gjøre det mulig for NLP-systemer å utfordre faktisk feilaktige spørsmål på samme måte som det er essensielt for menneskelige lærere å gjøre under samtaler med elever.

Den nylige artikkelen Hvem var den lingvisten som oppfant lyspæren? Antakelsesverifisering for spørsmål-svar presenterer en samlet innsats for å utvikle et nytt system for å identifisere antakelser og vurdere deres sannhet før utvekslingen fortsetter

Det nye algoritmen forbehandler spørsmål før det returnerer til samtalen, og bryter ned “autentiseringen” av spørsmålet i en tre-delers prosess.

Det ikke fungerer! Til venstre, “veiblokkeringen” som skjer selv når et avansert NLP-system har kunnet identifisere at spørsmålet ikke har noen mening. Til høyre, en nedbrytning av et foreslått algoritme som prøver å rette opp kildefeilen. Kilde: https://arxiv.org/pdf/2101.00391.pdf

Selv om det ser ut som en enkel verifiseringsrutine som burde ha vært bygget inn i kunnskapssystemer fra begynnelsen, lærer de fleste NLP-baserte treningsrutiner informasjon med en ubefalelig tillit til kilde-data, inkludert diskurs (som feilaktig nyheter) som kan ha blitt publisert på tidligere “pålitelige” kanaler.

Derfor er det et nøkkelproblem å identifisere en pålitelig kilde for fakta i en klima hvor spredningen av feilaktig “nyheter” gjennom sosiale medier ville, som standard, gi den autoritet under logikken til maskinlæringsgeneralisering. Den siste har tendert til å bruke mengde eller gjentakelse av data som en proxy for nøyaktighet, til og med fenomenet feilaktig nyheter ble et kritisk område av interesse i feltet i de siste årene.

Å bestemme den beste tilnærmingen til ubesvarelige spørsmål

For å bestemme en passende tilnærming for å løse et spørsmål som inneholder feilaktig informasjon, kjørte forskerne 100 slike spørsmål gjennom fire forskjellige Q&A-modeller, og ba menneskelige deltagere om å velge det beste eller minst problematiske løsningen som modellene genererte.

De fire mulige arkitektoniske resultater for det “dårlige” spørsmålet var: ‘Ubesvarelige’ – hvor et lukket bok Q&A-system effektivt stenger av spørsmålet uten videre forklaring; ‘Antakelsesfeil-basert forklaring’ – hvor systemet ikke verifiserer den feilaktige antakelsen, effektivt en “ubesvarelige” respons, med en tilføyd forklaring; ‘Eksitrerende forklaring’ – hvor systemet henter en topisk relatert Wikipedia-sitat og legger det til forordet “Dette spørsmålet er ubesvarelige fordi…”; og ‘Åpen domene-omskrivning’ – hvor et konkurrerende system søker etter ekstra kilder fra Wikipedia.

Dette eksempelet på fire mulige svar på et apparent “ubesvarelige” spørsmål illustrerer kompleksiteten ved å prøve å konkurrere med en domene-basert løsning på problemet.

Over hele testene, foretrakk de fem deltagerne (rekruttert på et internt Google-krowdsourcing-plattform) antakelsesbaserte svar, som ledet forskerne til å utvikle en ny ramme for å dekomponere og verifisere spørsmål.

I det nye systemet, hentes lingvistiske utløsere fra spørsmålet av en regelbasert generator som dekonstruerer setningen i putative utsagn om fakta. Hvis flere antakelser er avledet fra spørsmålet, blir hver enkelt etterforsket, og vil bidra til det endelige svaret hvis de adresserer feilaktige antakelser fra det opprinnelige spørsmålet.

Datasett

Antakelsene som ble generert i den innledende fasen, ble manuelt endret for å skape en verifisering-datasett med “gull”-antakelser. Enhver antakelse som oppstod fra grensesnittet til spørsmålet, men som ikke var til stede i de opprinnelige spørsmålene, ble fjernet.

To av artikkelenes forfattere annoterte deretter manuelt 462 antakelser i forhold til ja/nei-verifiserbarhet, basert på en relevant Wikipedia-side assosiert med hvert spørsmål. Tilfeller av uenighet ble løst i etterfaktisk diskusjon før de ble commitet til datasett.

Forskere brukte zero-shot NLI, en premisse/hypotese-klassifiseringsoppgave som krevde dekonstruksjon av Wikipedia-artikler relatert til spørsmålene. Siden denne prosessen resulterer i mange flere par enn spørsmålet kan omfatte eller modellen støtte, ble de filtrerte resultaterne deretter aggregert og merket.

Resultater og svarformulering

De mest effektive resultater ble oppnådd av den mest arbeidskrevende løsningen: en finjustert, regelbasert/NLI-hybrid generert fra ALBERT QNLI med Wiki-setninger og antakelser.

Ytelsen til verifiseringsmodellene, hvor ‘Wiki-setninger’ bruker setninger fra spørsmålsrelaterte Wikipedia-artikler, og ‘Wiki-antakelser’ er genererte antakelser fra disse setningene.

Med denne formuleringen, utviklet forskerne et mal-system hvor en negativ faktum fra Wikipedia ble appendert til “Dette spørsmålet er ubesvarelige fordi…” og lignende fraser. Selv om det ikke er en ideal løsning, foreslår forfatterne at svar basert på uverifiserbarhet sannsynligvis vil redusere hyppigheten av feil negativ.

Systemet ble til slutt implementert i en Extended Transformer Construction (ETC)-modell.

Konsekvenser

Avhengig av dens ultimate ytelse i den virkelige verden, kan det hevdes at denne hele tilnærmingen kan føre til en enkel erstattelse av “uverifiserbar” for “ubesvarelige”, i tilfeller hvor støttesystemet ikke kan evaluere en nyttig korreksjon for en feilaktig antakelse i spørsmålet. Effektivt, ser det ut til å legge infrastrukturen for fremtidige og bedre verifiserings-systemer.

Forskere innrømmer allerede at kostnadene til token-baserte API-forespørsler er en begrensning når det gjelder å formulere lengre svar som dette systemet vil generere, og det må antas at den ekstra overhodet til “live”-forskning i et spørsmål sannsynligvis vil legge til latency, selv til store skala-systemer som GPT-3, siden responsiviteten til slike systemer har avhengt av den generelle inkorporeringen av kunnskap på trenings-tidspunktet, i stedet for omfattende, nett-baserte verifiseringsrutiner.

I tillegg bemerker forskerne at systemet for øyeblikket har begrensninger relatert til parsing av semantiske aspekter av teksten:

For eksempel, hvem tror pip er estellas mor har en innebygd possessiv under en nonfaktiv verb tror, men vår generator ville likevel generere ‘estella’ har ‘mor’.

Likevel, ser teamet for seg nye og mer fleksible spørsmål-svar-systemer som vil bli utviklet på bakgrunn av denne forskningen:

I fremtiden planlegger vi å bygge på dette arbeidet ved å foreslå QA-systemer som er mer robuste og samarbeidende. For eksempel, kunne forskjellige typer antakelsesfeil bli håndtert av mer flytende svarstrategier – f.eks. kunne en krænkelse av unikhetantakelser bli bedre håndtert ved å gi alle mulige svar, i stedet for å si at unikhetantakelsen var krænket.