Google forestiller et GPT-3-lignende spørringssystem, uten søkeresultater

En ny rapport fra fire Google -forskere foreslår et ‘ekspert’ system som kan svare autoritativt på brukernes spørsmål uten å presentere en liste over mulige søkeresultater, liknende Q&A-paradigmet som har kommet til offentlig oppmerksomhet gjennom GPT-3 de siste årene.

Rapporten, med tittelen Rethinking Search: Making Experts out of Dilettantes, foreslår at den nåværende standarden for å presentere brukeren med en liste over søkeresultater som svar på en forespørsel er en ‘kognitiv byrde’, og foreslår forbedringer i evnen til et naturlig språkbehandlingsystem (NLP) til å gi et autoritativt og avgjørende svar.

Under det foreslåtte modellen av en ‘ekspert’, cross-domain oracle, vil de tusenvis av mulige søkeresultatkilder bli integrert i et språkmodell i stedet for å være eksplisitt tilgjengelig som en utforskningsressurs for brukerne til å evaluere og navigere selv.

Rapporten, ledet av Donald Metzler ved Google Research, foreslår forbedringer i typen multi-domen oracle-svar som kan fås fra dyptlærte autoregressive språkmodeller som GPT-3. De viktigste forbedringene som er tenkt er a) at modellen skal kunne nøyaktig angi kildene som informerte svaret, og b) at modellen skal hindres i å ‘hallusinere‘ svar eller oppfinne ikke-eksisterende kildeinformasjon, som er et problem med slike arkitekturer.

Flere-domenes trening og evner

I tillegg foreslår den foreslåtte språkmodellen, karakterisert i rapporten som ‘Et enkelt modell for alle informasjonsgjenfinningstasks’, å bli trent på en rekke domener, inkludert bilder og tekst. Den vil også trenge en forståelse av kildeinformasjonen, som mangler i GPT-3-arkitekturer.

‘For å erstatte indekser med ett enkelt, forent modell, må det være mulig for modellen selv å ha kunnskap om universet av dokumentidentifikatorer, på samme måte som tradisjonelle indekser gjør. En måte å oppnå dette på er å gå bort fra tradisjonelle LMs og mot korpusmodeller som felles modellerer term-term, term-dokument og dokument-dokument-relasjoner.’

I bildet over, fra rapporten, tre tilnærminger til å svare på en brukerspørsmaal: venstre, språkmodellene implisitt i Google’s algoritmebaserte søkeresultater har valgt og prioritetert et ‘beste svar’, men har etterlatt det som toppresultatet av mange. Midten, et GPT-3-lignende konversasjonssvar, som snakker med autoritet, men ikke berettiger kravene eller angi kilder. Høyre, det foreslåtte ekspertsystemet inkorporerer ‘beste svaret’ fra rangerte søkeresultater direkte i et didaktisk svar, med akademisk-stil fotnoter (ikke avbildet i originalbildet) som indikerer kildene som informerer svaret.

Fjerning av giftige og uakkurate resultater

Forskerne påpeker at den dynamiske og konstant oppdaterte naturen til søkeindekser er en utfordring til å helt replikere i en maskinlæringsmodell av denne typen. For eksempel, hvor en gang pålitelig kilde er blitt trent direkte inn i modellens forståelse av verden, kan fjerning av dens innflytelse (for eksempel etter at den er diskreditert) være mer vanskelig enn å bare fjerne en URL fra søkeresultater, siden datakonsepter kan bli abstrakte og vidt representert under trening.

Angrepsflater for et sentralisert ekspert-orakel

Et sentralisert modell som konstant assimilerer og generaliserer ny data kan transformere angrepsflaten for søkespørsmål.

For tiden kan en angriper få nytte av å oppnå høy rangering for domener eller sider som inneholder feilinformasjon eller skadelig kode. Under et mer uigjennomsiktig ‘ekspert’ orakel er muligheten til å omdirigere brukere til angrepsdomener betydelig redusert, men muligheten til å injisere giftig dataangrep er betydelig økt.

Dette skyldes at det foreslåtte systemet ikke eliminerer søkerangeringsalgoritmen, men skjuler den for brukeren, effektivt automatiserer prioriteringen av toppresultatene og baker dem inn i et didaktisk uttalelse. Skadelige brukere har lenge kunnet orkestrere angrep mot Google’s søkealgoritme for å selge feil produkter, dirigere brukere til malware-sprende domener, eller for formål av politisk manipulering, blant mange andre bruksscenarier.

Ikke AGI

Forskerne understreker at et slikt system ville være usannsynlig å kvalifisere som kunstig generell intelligens (AGI), og plasserer prospektet av en universell ekspert-svarer i konteksten av naturlig språkbehandling, underlagt alle utfordringene som slike modeller nåværende står overfor.

Rapporten presenterer fem krav til et ‘høykvalitets’ svar:

1: Autoritet
Som med nåværende rangeringsalgoritmer, synes ‘autoritet’ å bli avledet fra sitater fra høykvalitetsdomener som anses som autoritative i seg selv. Forskerne observerer:

‘Svar skal generere innhold ved å trekke fra høyt autoritative kilder. Dette er en annen grunn til at å etablere mer eksplisitte forbindelser mellom sekvenser av termer og dokumentmetadata er så kritisk. Hvis alle dokumenter i en korpus er annotert med en autoritetspoeng, bør denne poengen tas med i betraktning når modellen blir trent, genererer svar eller begge deler.’

2: Gjennomsiktighet
Forskerne kommenterer:

‘Når det er mulig, bør kildeinformasjonen til informasjonen som presenteres til brukeren være tilgjengelig for dem. Er dette den primære kilde til informasjon? Hvis ikke, hva er den primære kilde?’

3: Håndtering av fordommer
Rapporten påpeker at forhånds-trente språkmodeller er designet for å ikke evaluere empirisk sannhet, men for å generalisere og prioritere dominante trender i data. Den innrømmer at denne direktivet åpner opp modellen for angrep (som skjedde med Microsofts uavdelige rasistiske chatbot i 2016), og at hjelpe-systemer vil være nødvendige for å sikre mot slike fordomsfulle system-svar.

4: Aktivering av mangfoldige perspektiver
Rapporten foreslår også mekanismer for å sikre en mangfold av perspektiver:

‘Genererte svar skal representere en rekke av mangfoldige perspektiver, men skal ikke være polariserende. For eksempel, for spørsmål om kontroversielle emner, bør begge sider av emnet dekkes på en rettferdig og balansert måte. Dette har åpenbart nær tilknytning til modell-fordommer.’

5: Tilgjengelig språk
I tillegg til å gi nøyaktige oversettelser i tilfeller hvor det anså autoritative svaret er på et annet språk, foreslår rapporten at innkapslede svar skal være ‘skrevet i så enkelt mulig språk’.