Google föreställer sig ett GPT-3-liknande frågesystem utan sökresultat

En ny rapport från fyra Google -forskare föreslår ett “expert”-system som kan ge auktoritativa svar på användarnas frågor utan att presentera en lista med möjliga sökresultat, liknande det Q&A-paradigm som har kommit till allmänhetens kännedom genom GPT-3 under det senaste året.

Rapporten, med titeln Omprövning av sökning: Gör experter av dilettanter, föreslår att den nuvarande standarden för att presentera användaren med en lista med sökresultat som svar på en förfrågan är en “kognitiv börda”, och föreslår förbättringar i förmågan hos ett naturligt språkbehandlingsystem (NLP) att ge ett auktoritativt och definitivt svar.

Under den föreslagna modellen för en ‘expert’, cross-domänorakel, kommer de tusentals möjliga sökresultatkällor att integreras i ett språkmodell i stället för att vara explicit tillgängliga som en utforskningsresurs för användare att utvärdera och navigera i sig själva. Källa: https://arxiv.org/pdf/2105.02274.pdf

Rapporten, ledd av Donald Metzler på Google Research, föreslår förbättringar i den typ av multi-domänorakelsvar som för närvarande kan erhållas från djupinlärningsautoregressiva språkmodeller som GPT-3. De huvudsakliga förbättringarna som föreslås är a) att modellen skulle kunna exakt citera källorna som informerade svaret, och b) att modellen skulle förhindras från att “hallucinera” svar eller uppfinna icke-existerande källmaterial, vilket för närvarande är ett problem med sådana arkitekturer.

Multi-Domänträning och kapacitet

Dessutom föreslår den föreslagna språkmodellen, som karakteriseras i rapporten som “En enda modell för alla informationsåtervinningstyper”, att den skulle tränas på en mängd olika domäner, inklusive bilder och text. Den skulle också behöva en förståelse för kunskapens ursprung, vilket saknas i GPT-3-liknande arkitekturer.

‘För att ersätta index med en enda, enhetlig modell, måste det vara möjligt för modellen själv att ha kunskap om universum av dokumentidentifierare, på samma sätt som traditionella index gör. Ett sätt att uppnå detta är att gå bort från traditionella LMs och mot korpusmodeller som gemensamt modellerar term-term, term-dokument och dokument-dokumentrelationer.’

I bilden ovan, från rapporten, visas tre tillvägagångssätt för att svara på en användarfråga: vänster, de språkmodeller som är implicita i Googles algoritmiska sökresultat har valt och prioriterat ett “bästa svar”, men har lämnat det som det översta resultatet av många. Mitten, ett GPT-3-liknande konversationssvar, som talar med auktoritet, men inte motiverar sina påståenden eller citerar källor. Höger, det föreslagna expertsystemet inkorporerar det “bästa svaret” från de rankade sökresultaten direkt i ett didaktiskt svar, med akademiska fotnotscitationer (inte avbildade i den ursprungliga bilden) som indikerar källorna som informerar svaret.

Borttagning av giftiga och felaktiga resultat

Forskarna noterar att den dynamiska och ständigt uppdaterade naturen hos sökindex är en utmaning att helt replikera i en maskinlärningsmodell av detta slag. Till exempel, om en en gång tillförlitlig källa har tränats direkt in i modellens förståelse av världen, kan det vara svårare att ta bort dess inflytande (till exempel efter att den har diskvalificerats) än att bara ta bort en URL från SERP, eftersom datakoncept kan bli abstrakta och breda under assimileringen under träningen.

Dessutom skulle en sådan modell behöva tränas kontinuerligt för att ge samma nivå av responsivitet till nya artiklar och publikationer som för närvarande tillhandahålls av Googles konstanta spindling av källor. Detta innebär i princip kontinuerlig och automatiserad utrullning, i kontrast till den nuvarande regimen, där mindre ändringar görs i vikterna och inställningarna för den fria sökalgoritmen, men algoritmen själv vanligtvis bara uppdateras sällan.

Angreppsytor för ett centraliserat expertorakel

Ett centraliserat modell som konstant assimilerar och generaliserar ny data kunde förvandla angreppsytan för sökfrågor.

För närvarande kan en angripare få nytta av att uppnå hög rankning för domäner eller sidor som antingen innehåller felaktig information eller skadlig kod. Under det föreslagna “expert”-oraklets auspicier minskar möjligheten att omdirigera användare till angreppsdiskreta domäner, men möjligheten att injicera giftiga dataattacker ökar.

Detta beror på att det föreslagna systemet inte eliminerar sökrankningsalgoritmen, utan döljer den för användaren, och effektivt automatiserar prioriteringen av det översta resultatet, och integrerar det (eller dem) i ett didaktiskt uttalande. Skadliga användare har länge kunnat orkestrera attacker mot Googles sökalgoritm, för att sälja falska produkter, dirigera användare till malware-spridande domäner, eller för ändamål som politisk manipulation, bland många andra användningsfall.

Inte AGI

Forskarna betonar att ett sådant system skulle vara osannolikt att kvalificera som Artificiell Allmän Intelligens (AGI), och placerar perspektivet på en universell expertrespondent i sammanhanget med naturligt språkbehandling, med alla de utmaningar som sådana modeller för närvarande står inför.

Rapporten anger fem krav för ett “högkvalitativt” svar:

1: Auktoritet
Som med nuvarande rankningsalgoritmer, verkar “auktoritet” härröra från citation från högkvalitativa domäner som anses vara auktoritativa i sig själva. Forskarna observerar:

‘Svar bör generera innehåll genom att dra från högkvalitativa källor. Detta är ett annat skäl till varför det är så viktigt att etablera mer explicita kopplingar mellan sekvenser av termer och dokumentmetadata. Om alla dokument i en korpus är annoterade med en auktoritetspoäng, bör den poängen beaktas när modellen tränas, genererar svar eller båda.’

Även om forskarna inte föreslår att traditionella SERP-resultat skulle bli otillgängliga om ett expertorakel av detta slag skulle visa sig vara presterande och populärt, presenterar hela rapporten den traditionella rankningssystemet och sökresultatlistor i ljuset av ett “decennier gammalt” och föråldrat informationsåtervinningssystem.

‘Det faktum att rankning är en kritisk komponent i detta paradigm är ett symptom på att återvinningssystemet ger användaren en urval av potentiella svar, vilket inducerar en ganska betydande kognitiv börda på användaren. Önskan att returnera svar i stället för rankade listor av resultat var en av de motiverande faktorerna för att utveckla frågesvarssystem. ‘

2: Transparens
Forskarna kommenterar:

‘När det är möjligt bör ursprunget till den information som presenteras för användaren göras tillgängligt för dem. Är detta den primära källan till information? Om inte, vad är den primära källan?’

3: Hantering av bias
Rapporten noterar att förtränade språkmodeller är utformade för att inte utvärdera empirisk sanning, utan för att generalisera och prioritera dominanta trender i data. Den medger att denna direktiv öppnar upp modellen för attack (som inträffade med Microsofts oavsiktliga rasistiska chatbot 2016), och att auxiliära system kommer att behövas för att skydda mot sådana biased systemrespons.
4: Aktivering av mångfaldiga perspektiv
Rapporten föreslår också mekanismer för att säkerställa en mångfald av perspektiv:

‘Genererade svar bör representera en mängd olika perspektiv men bör inte vara polariserande. Till exempel, för frågor om kontroversiella ämnen, bör båda sidor av ämnet täckas på ett rättvist och balanserat sätt. Detta har uppenbara kopplingar till modellbias.’

5: Tillgängligt språk
Förutom att tillhandahålla korrekta översättningar i fall där det ansedda auktoritativa svaret är på ett annat språk, föreslår rapporten att inkapslade svar bör skrivas på “så enkelt språk som möjligt”.