Google forestiller et GPT-3-lignende spørgsmålssystem, uden søgeresultater

En ny artikel fra fire Google -forskere foreslår et ‘ekspert’system, der kan give autoritative svar på brugernes spørgsmål uden at præsentere en liste over mulige søgeresultater, ligesom Q&A-paradigmet, der er kommet til offentlighedens opmærksomhed gennem GPT-3 i løbet af det sidste år.

Artiklen “Rethinking Search: Making Experts out of Dilettantes” foreslår, at den nuværende standard for at præsentere brugeren med en liste over søgeresultater som svar på en forespørgsel er en ‘kognitiv byrde’, og foreslår forbedringer i evnen til et naturligt sprogbehandlingsystem (NLP) til at give et autoritativt og definitivt svar.

Under det foreslåede model af en ‘ekspert’, cross-domain oracle, vil de tusinder af mulige søgeresultatkilder blive integreret i et sprogmodel i stedet for at være eksplicit tilgængelige som en undersøgelsesressource for brugere til at evaluere og navigere selv.

Artiklen, ledet af Donald Metzler fra Google Research, foreslår forbedringer i typen af multi-domain-orakel-svar, der kan fås fra dybe autoregressive sprogmodeller som GPT-3. De primære forbedringer er, at modellen ville være i stand til nøjagtigt at citerer kilderne, der har informeret svaret, og at modellen ville forhindre ‘hallucinationer‘ af svar eller opfindelse af ikke-eksisterende kildeinformation, hvilket er et problem med disse arkitekturer.

Multi-Domain Træning Og Kapaciteter

Desuden vil det foreslåede sprogmodel, karakteriseret i artiklen som “Et enkelt model for alle informationshentingsopgaver”, blive trænet på en række domæner, herunder billeder og tekst. Det vil også kræve en forståelse af kildens proveniens, som mangler i GPT-3-lignende arkitekturer.

‘For at erstatte indeks med en enkelt, samlet model, skal det være muligt for modellen selv at have viden om universet af dokument-id, på samme måde som traditionelle indeks.

I billedet ovenfor, fra artiklen, er der tre tilgange til at besvare en brugers forespørgsel: venstre, sprogmodellerne i Googles algoritmer har valgt og prioriteret et ‘bedst svar’, men har efterladt det som det øverste resultat af mange. Midten, en GPT-3-lignende konversationssvar, som taler med autoritet, men ikke retfærdiggør sine påstande eller citerer kilder. Højre, det foreslåede ekspertsystem inkorporerer ‘bedst svar’ fra rangerede søgeresultater direkte i et didaktisk svar, med akademiske fodnoter (ikke vist i det originale billede), som angiver kilderne, der informerer svaret.

Fjernelse Af Giftige Og Upræcise Resultater

Forskerne påpeger, at den dynamiske og konstant opdaterede natur af søgeresultater er en udfordring til at fuldstændigt replikere i en maskinelæringmodel af denne art. For eksempel, hvis en engang pålidelig kilde er trænet direkte ind i modellens forståelse af verden, kan det være sværere at fjerne dens indflydelse (for eksempel efter det er blevet diskrediteret) end blot at fjerne en URL fra søgeresultater, da datakoncepter kan blive abstrakte og vidt repræsenteret under træning.

Desuden vil en sådan model kræve kontinuerlig træning for at give det samme niveau af responsivitet over for nye artikler og publikationer som det, der i øjeblikket leveres af Googles konstante spidering af kilder. Det betyder i praksis kontinuerlig og automatiseret udrolning, i modsætning til den nuværende ordning, hvor mindre ændringer foretages i vægtning og indstillinger af den frie søgealgoritme, men algoritmen selv normalt kun opdateres sjældent.

Angrebsflader For En Centraliseret Ekspert Oracle

En centraliseret model, der konstant assimilerer og generaliserer nye data, kan ændre angrebsfladen for søgeforespørgsler.

I øjeblikket kan en angriber opnå fordel ved at opnå høj rangering for domæner eller sider, der enten indeholder misinformations- eller skadelig kode. Under et mere uigennemsigtigt ‘ekspert’orakel er muligheden for at omdirigere brugere til angrebsdomæner betydeligt reduceret, men muligheden for at injicere giftige dataangreb er betydeligt øget.

Dette skyldes, at det foreslåede system ikke eliminerer søgeresultatalgoritmen, men skjuler den for brugeren, og effektivt automatiserer prioriteringen af det øverste resultat, og bager det (eller dem) ind i en didaktisk udtalelse. Malicious brugere har længe kunnet orkestrere angreb mod Googles søgeresultatalgoritme for at sælge falske produkter, dirigere brugere til malware-sprede-domæner eller til formål af politisk manipulation, blandt mange andre brugsområder.

Ikke AGI

Forskerne understreger, at et sådant system ville være usandsynligt at kvalificere som kunstig generel intelligens (AGI), og placerer udsigten til en universel ekspert-svarer i konteksten af naturligt sprogbehandling, underlagt alle de udfordringer, som disse modeller i øjeblikket står over for.

Artiklen fremhæver fem krav til et ‘højkvalitets’svar:

1: Autoritet
Som med nuværende rangeringsalgoritmer synes ‘autoritet’ at være afledt fra citation fra højkvalitetsdomæner, der selv anses for at være autoritative. Forskerne påpeger:

‘Svar skal generere indhold ved at trække fra højautoritative kilder. Dette er endnu en grund til, at det er så vigtigt at etablere mere eksplicitte forbindelser mellem sekvenser af termer og dokumentmetadata.’

Selv om forskerne ikke foreslår, at traditionelle søgeresultater ville blive utilgængelige, hvis et ekspertorakel af denne type blev fundet at være performant og populært, præsenterer hele artiklen den traditionelle rangeringssystem og søgeresultatliste i lyset af et ‘decades old’ og forældet informationshentningssystem.

‘Det faktum, at rangering er en kritisk komponent i denne paradigm, er et symptom på, at hentningssystemet giver brugeren en udvalg af potentielle svar, hvilket inducerer en ret betydelig kognitiv byrde på brugeren. Ønsket om at returnere svar i stedet for rangerede lister over resultater var en af de motiverende faktorer for udvikling af spørgsmål-svar-systemer.’

2: Gennemsigtighed
Forskerne kommenterer:

‘Når det er muligt, skal proveniens af den information, der præsenteres for brugeren, være tilgængelig for dem. Er dette den primære kilde til information? Hvis ikke, hvad er den primære kilde?’

3: Håndtering Af Forudindtagethed
Artiklen påpeger, at forudtrænede sprogmodeller er designet til ikke at evaluere empirisk sandhed, men til at generalisere og prioritere dominerende tendenser i data. Den indrømmer, at denne direktive åbner op for angreb (som skete med Microsofts ufrivilligt racistiske chatbot i 2016), og at hjælpe-systemer vil være nødvendige for at beskytte mod sådanne forudindtagne system-svar.

4: Aktivering Af Diverse Synspunkter
Artiklen foreslår også mekanismer til at sikre en pluralitet af synspunkter:

‘Genererede svar skal repræsentere en række diverse perspektiver, men skal ikke være polariserende. For eksempel, for forespørgsler om kontroversielle emner, skal begge sider af emnet dækkes på en fair og balanceret måde. Dette har tæt tilknytning til model-forudindtagethed.’

5: Tilgængeligt Sprog
Foruden at give præcise oversættelser i tilfælde, hvor det anses for at være autoritativt, foreslår artiklen, at indkapslede svar skal være ‘skrevet i så enkelt og klart sprog som muligt’.