Farene ved å bruke sitater for å autentisere NLG-innhold

MeningNaturalspråksgenereringsmodeller som GPT-3 er utsatt for å “hallusinere” materiale som de presenterer i sammenheng med faktisk informasjon. I en tid som er usedvanlig opptatt av veksten av tekstbasert feilinformasjon, representerer disse “ivrig til å behage” fluktene en eksistensiell hindring for utviklingen av automatiserte skrivingssystemer og for fremtiden til AI-drevet journalistikk, blant andre undersektorer av Natural Language Processing (NLP).

Hovedproblemet er at GPT-liknende språkmodeller utleder nøkkelEGENSkaper og klasser fra svært store korpus av treningsTekster, og lærer å bruke disse egenskapene som byggesteiner for språk på en dyktig og autentisk måte, uavhengig av generert innholdets nøyaktighet, eller selv dets akseptabilitet.

NLG-systemer er derfor avhengige av menneskelig verifisering av fakta på en av to måter: at modellene enten brukes som seed-tekstgenerering som umiddelbart overføres til menneskelige brukere, enten for verifisering eller noen annen form for redigering eller tilpasning; eller at mennesker brukes som dyre filtre for å forbedre kvaliteten på datasett som er ment å informere mindre abstrakte og “kreative” modeller (som i seg selv er vanskelige å stole på når det gjelder faktisk nøyaktighet, og som vil kreve ytterligere lag med menneskelig tilsyn).

Gamle nyheter og feilfakta

Naturalspråksgenereringsmodeller (NLG) er i stand til å produsere overbevisende og plausibelt utgang på grunn av at de har lært semantisk arkitektur, snarere enn å assimilere den faktiske historien, vitenskapen, økonomien eller andre emner som de kan være nødt til å uttale seg om, som er effektivt “passasjerer” i kildeDataene.

Faktisk nøyaktighet av informasjonen som NLG-modellene genererer, antar at inndata som de er trenet på, er pålitelige og oppdaterte, noe som presenterer en ekstraordinær byrde når det gjelder forbehandling og ytterligere menneskelig verifisering – en kostbar hindring som NLP-forskningssektoren for tiden håndterer på mange fronter.

GPT-3-skala systemer tar en ekstraordinær mengde tid og penger å trene, og når de er trenet, er de vanskelige å oppdatere på hva som kan kalles “kjern-nivå”. Selv om sesjonsbaserte og brukerbaserte lokale modifikasjoner kan øke nyttigheten og nøyaktigheten av de implementerte modellene, er disse nyttige fordelene vanskelige, noen ganger umulige å overføre tilbake til kjern-modellen uten å nødvendiggjøre full eller delvis om-trening.

Av denne grunn er det vanskelig å lage trenede språkmodeller som kan bruke den siste informasjonen.

Trenet før selv COVID-19s oppkomst, text-davinci-002 – iterasjonen av GPT-3 som anses for å være “mest kapabel” av skaperen OpenAI – kan prosessere 4000 token per forespørsel, men vet ingenting om COVID-19 eller den ukrainske invasjonen i 2022 (disse promptene og svarene er fra 5. april 2022). Interessant nok er “ukjent” faktisk et akseptabelt svar i begge feiltilfeller, men videre prompter etablerer lett at GPT-3 er uvitende om disse hendelsene. Kilde: https://beta.openai.com/playground

En trenet modell kan bare aksessere “sannheter” som den internaliserte under trenings-tiden, og det er vanskelig å få et nøyaktig og relevant sitat som standard, når man prøver å få modellen til å verifisere sine påstander. Den virkelige faren ved å oppnå sitater fra standard GPT-3 (for eksempel) er at den noen ganger produserer korrekte sitater, noe som fører til en falsk tillit til denne fasen av dens evner:

Øverst, tre nøyaktige sitater oppnådd av 2021-års davinci-instruct-text GPT-3. Midten, GPT-3 feiler i å sitere en av Einsteins mest berømte sitater (“Gud spiller ikke terning med universet”), til tross for en ikke-kryptisk prompt. Nederst, GPT-3 tilordner en skandaløs og fiktiv sitat til Albert Einstein, tilsynelatende overspill fra tidligere spørsmål om Winston Churchill i samme sesjon. Kilde: Forfatterens egen artikkel fra 2021 på https://www.width.ai/post/business-applications-for-gpt-3

GopherCite

I håp om å møte denne generelle mangelen i NLG-modeller, har Googles DeepMind nylig foreslått GopherCite, en 280-milliard parameters modell som er i stand til å sitere spesifikke og nøyaktige bevis i støtte for sine genererte svar på prompter.

Tre eksempler på GopherCite som støtter opp sine påstander med virkelige sitater. Kilde: https://arxiv.org/pdf/2203.11147.pdf

GopherCite utnytter forsterkning av menneskelige preferanser (RLHP) for å trene spørringsmodeller som kan sitere virkelige sitater som støttebevis. Sitatene er hentet live fra flere dokumentkilder som er hentet fra søkemotorer, eller fra et bestemt dokument som er gitt av brukeren.

Ytelsen til GopherCite ble målt gjennom menneskelig evaluering av modell-respons, som ble funnet å være av “høy kvalitet” 80% av tiden på Googles NaturalQuestions-datasett, og 67% av tiden på ELI5-datasett.

Sitering av usannheter

Men når den ble testet mot Oxford Universitets TruthfulQA-benchmark, var GopherCites svar sjelden scoret som sanne, i sammenligning med menneske-kurerte “korrekte” svar.

Forfatterne foreslår at dette skyldes at konseptet “støttede svar” ikke på noen objektiv måte hjelper å definere sannhet i seg selv, siden nyttigheten av kilde-sitater kan være kompromittert av andre faktorer, som muligheten for at forfatteren av sitatet selv “hallusinerer” (dvs. skriver om fiktive verdener, produserer reklameinnhold eller på andre måter fantastiserer uautentisk materiale.

GopherCite-tilfeller hvor plausibilitet ikke nødvendigvis tilsvarer “sannhet”.

Effektivt blir det nødvendig å skille mellom “støttet” og “sant” i slike tilfeller. Menneskelig kultur er for tiden langt foran maskinlæring når det gjelder bruk av metoder og rammer som er designet for å oppnå objektive definisjoner av sannhet, og selv der, synes den innfødte tilstanden av “viktig” sannhet å være strid og marginalt avslag.

Problemet er rekursivt i NLG-arkitekturer som søker å utvikle definitive “støttende” mekanismer: menneske-ledet konsensus er presset inn i tjeneste som en benchmark for sannhet gjennom outsourced, AMT-lignende modeller hvor menneskelige evaluatorene (og andre mennesker som megler uenigheter mellom dem) er i seg selv partiske og fordomsfulle.

For eksempel, de første GopherCite-eksperimentene bruker en “super-rater”-modell for å velge de beste menneskelige subjektene for å evaluere modellens utgang, og velger bare de ratere som scoret minst 85% i sammenligning med en kvalitetsikringssett. Til slutt ble 113 super-ratere valgt for oppgaven.

Skjermbilde av sammenligningsappen som brukes for å evaluere GopherCites utgang.

Argumenterbart er dette et perfekt bilde av en uovervinnelig fraktal-forfølgelse: kvalitetsikringssettet som brukes til å vurdere ratere, er i seg selv et annet “menneske-definert” mål for sannhet, likeså Oxford TruthfulQA-settet som GopherCite har blitt funnet mangelfullt mot.

I sammenheng med støttet og “autentisert” innhold, er alt NLG-systemer kan håpe å syntetisere fra trening på menneskelig data, er menneskelig uenighet og mangfold, i seg selv et dårlig stilte og uløst problem. Vi har en innfødt tendens til å sitere kilder som støtter våre synspunkter, og å tale myndig og med overbevisning i tilfeller hvor vår kildeinformasjon kan være foreldet, helt uriktig eller på andre måter misrepresentert; og en tendens til å sprede disse synspunktene direkte ut i villmarken, i en skala og effektivitet som overgår menneskehistorien, rett inn i banen av kunnskaps-skrabende rammer som mater nye NLG-rammer.

Derfor er faren forbundet med utviklingen av sitat-støttede NLG-systemer åpenbart knyttet til den uforutsigbare naturen av kilde-materialet. Enhver mekanisme (som direkte sitat og sitater) som øker bruker-tillit til NLG-utgang, er, i den nåværende tilstanden av kunsten, å legge farlig til autentisiteten, men ikke sannheten av utgangen.

Slike tekniker er sannsynligvis nyttige nok når NLP endelig gjenskaper de fiktive “kaleidoskopene” i Orwells Nitten Åttifire; men de representerer en farlig forfølgelse for objektiv dokument-analyse, AI-sentrert journalistikk og andre mulige “ikke-fiksjons”-applikasjoner av maskin-sammendrag og spontan eller guidet tekst-generering.

Publisert første gang 5. april 2022. Oppdatert 15:29 EET for å korrigere en betegnelse.