Google Ziet een GPT-3-achtig Querysysteem voor zich, Zonder Zoekresultaten

Een nieuw artikel van vier Google -onderzoekers stelt een ‘expert’-systeem voor dat in staat is om gebruikers vragen te beantwoorden zonder een lijst met mogelijke zoekresultaten te tonen, vergelijkbaar met het Q&A-paradigma dat de aandacht van het publiek heeft getrokken door de opkomst van GPT-3 in het afgelopen jaar.

Het artikel, getiteld Rethinking Search: Making Experts out of Dilettantes, suggereert dat de huidige standaard van het tonen van een lijst met zoekresultaten aan de gebruiker in reactie op een vraag een ‘cognitieve belasting’ is, en stelt verbeteringen voor in de mogelijkheid van een natuurlijke taalverwerkingssysteem (NLP) om een autoritair en definitief antwoord te geven.

Onder het voorgestelde model van een ‘expert’, cross-domein-orakel, worden de duizenden mogelijke zoekresultaatbronnen gebakken in een taalmodel in plaats van expliciet beschikbaar te zijn als een exploratiebron voor gebruikers om te evalueren en te navigeren. Bron: https://arxiv.org/pdf/2105.02274.pdf

Het artikel, geleid door Donald Metzler bij Google Research, stelt verbeteringen voor in het type multi-domein-orakel-antwoorden dat momenteel kan worden verkregen uit diepe autoregressieve taalmodellen zoals GPT-3. De belangrijkste verbeteringen die worden voorzien, zijn a) dat het model in staat zou zijn om nauwkeurig de bronnen te citeren die het antwoord hebben geïnformeerd, en b) dat het model zou worden voorkomen om ‘hallucinerende‘ antwoorden of niet-bestaande bronmateriaal te verzinnen, wat momenteel een probleem is met dergelijke architectuur.

Multidomeintraining en -mogelijkheden

Bovendien zou het voorgestelde taalmodel, gekarakteriseerd in het artikel als ‘Een enkel model voor alle informatie-opvraagtaken’, getraind worden op een verscheidenheid aan domeinen, waaronder afbeeldingen en tekst. Het zou ook kennis moeten hebben over de herkomst van kennis, wat ontbreekt in GPT-3-achtige architectuur.

‘Om indexes te vervangen door een enkel, geïntegreerd model, moet het voor het model zelf mogelijk zijn om kennis te hebben over het universum van documentidentificatoren, op dezelfde manier als traditionele indexes dat doen. Een manier om dit te bereiken is om af te stappen van traditionele LMs en naar corpusmodellen te gaan die gezamenlijk term-term-, term-document- en document-documentrelaties modelleren.’

In de bovenstaande afbeelding, uit het artikel, zijn drie benaderingen voor een gebruikersvraag: links, hebben de taalmodellen die impliciet zijn in Google’s algoritme voor zoekresultaten een ‘beste antwoord’ gekozen en prioriteit gegeven, maar hebben ze het laten staan als het bovenste resultaat van veel. Midden, een GPT-3-achtig conversatieantwoord, dat met autoriteit spreekt, maar zijn claims niet rechtvaardigt of bronnen citeert. Rechts, het voorgestelde expertensysteem incorporeert het ‘beste antwoord’ uit de gerangschikte zoekresultaten rechtstreeks in een didactisch antwoord, met academische voetnoten (niet afgebeeld in de oorspronkelijke afbeelding) die de bronnen aangeven die het antwoord informeren.

Verwijderen van giftige en onnauwkeurige resultaten

De onderzoekers merken op dat de dynamische en constant bijgewerkte aard van zoekindexen een uitdaging vormt om volledig te repliceren in een machine learning-model van deze aard. Bijvoorbeeld, waar een eens-vertrouwde bron rechtstreeks is getraind in het model’s begrip van de wereld, kan het verwijderen van zijn invloed (bijvoorbeeld, nadat het in diskrediet is geraakt) moeilijker zijn dan alleen het verwijderen van een URL uit de zoekresultaten, aangezien gegevensconcepten abstract en breed vertegenwoordigd kunnen worden tijdens assimilatie in training.

Bovendien zou een dergelijk model continu getraind moeten worden om hetzelfde niveau van responsiviteit te bieden voor nieuwe artikelen en publicaties als momenteel wordt geboden door Google’s constante spidering van bronnen. Effectief betekent dit continue en geautomatiseerde uitrol, in tegenstelling tot het huidige regime, waarin kleine wijzigingen worden aangebracht in de gewichten en instellingen van de vrije-vorm-zoekalgoritme, maar het algoritme zelf meestal alleen af en toe wordt bijgewerkt.

Aanvalsvlakken voor een gecentraliseerd expert-orakel

Een gecentraliseerd model dat constant nieuwe gegevens assimileert en generaliseert, kan het aanvalsvlak voor zoekopdrachten transformeren.

Momenteel kan een aanvaller profiteren door een hoge rangschikking te bereiken voor domeinen of pagina’s die misinformatie of kwaadaardige code bevatten. Onder de auspiciën van een meer opake ‘expert’-orakel is de kans om gebruikers om te leiden naar aanvalsdomainen aanzienlijk verkleind, maar de mogelijkheid om giftige gegevensaanvallen in te brengen is aanzienlijk toegenomen.

Dit komt omdat het voorgestelde systeem het zoekalgoritme niet elimineert, maar het voor de gebruiker verbergt, effectief de prioriteit van het bovenste resultaat automatiserend en het (of hen) in een didactische verklaring bakend. Kwaadaardige gebruikers hebben lang kunnen orkestreren aanvallen tegen het Google-zoekalgoritme, om nepproducten te verkopen, gebruikers om te leiden naar domeinen die malware verspreiden, of voor doeleinden van politieke manipulatie, onder vele andere use cases.

Geen AGI

De onderzoekers benadrukken dat een dergelijk systeem onwaarschijnlijk zou kwalificeren als Artificial General Intelligence (AGI), en plaatsen het perspectief van een universeel expert-antwoord in de context van natuurlijke taalverwerking, onderworpen aan alle uitdagingen waarmee dergelijke modellen momenteel worden geconfronteerd.

Het artikel schetst vijf vereisten voor een ‘hoge kwaliteit’-antwoord:

1: Autoriteit
Net als bij de huidige rangschikkingsalgoritmen, lijkt ‘autoriteit’ te worden afgeleid van citaten van hoge kwaliteit domeinen die zelf als autoriteit worden beschouwd. De onderzoekers merken op:

‘Antwoorden moeten inhoud genereren door te putten uit zeer autoritaire bronnen. Dit is een andere reden waarom het vestigen van expliciete verbindingen tussen termen en documentmetadata zo cruciaal is. Als alle documenten in een corpus zijn geannoteerd met een autoriteitscore, moet die score in aanmerking worden genomen bij het trainen van het model, het genereren van antwoorden, of beide.’

Hoewel de onderzoekers niet suggereren dat traditionele SERP-resultaten onbeschikbaar zouden worden als een expert-orakel van deze soort zou worden gevonden om prestatiegericht en populair te zijn, presenteert het hele artikel het traditionele rangschikkingsysteem en de zoekresultatenlijsten in het licht van een ‘decennialang’ verouderd informatieverzamelingssysteem.

‘Het feit dat rangschikking een kritisch onderdeel is van dit paradigma is een symptoom van het feit dat het opvraagsysteem gebruikers een selectie van potentiële antwoorden biedt, wat een aanzienlijke cognitieve belasting voor de gebruiker induceert. De wens om antwoorden terug te geven in plaats van gerangschikte lijsten met resultaten was een van de motiverende factoren voor het ontwikkelen van vraagbeantwoordingssystemen. ‘

2: Transparantie
De onderzoekers merken op:

‘Wanneer mogelijk, moet de herkomst van de informatie die aan de gebruiker wordt gepresenteerd, beschikbaar worden gesteld aan hen. Is dit de primaire bron van informatie? Zo niet, wat is de primaire bron?’

3: Omgaan met vooroordelen
Het artikel merkt op dat voorgetrainde taalmodellen zijn ontworpen om empirische waarheid niet te evalueren, maar om te generaliseren en dominante trends in de gegevens te prioriteren. Het geeft toe dat deze richtlijn het model openstelt voor aanvallen (zoals gebeurde met Microsoft’s onopzettelijk racistische chatbot in 2016), en dat aanvullende systemen nodig zullen zijn om te beschermen tegen dergelijke vooroordeelde systeemantwoorden.

4: Mogelijk maken van diverse perspectieven
Het artikel stelt ook mechanismen voor om een pluraliteit van perspectieven te waarborgen:

‘Gegenereerde antwoorden moeten een reeks diverse perspectieven vertegenwoordigen, maar mogen niet polariserend zijn. Bijvoorbeeld, voor vragen over omstreden onderwerpen, moeten beide kanten van het onderwerp worden behandeld op een eerlijke en evenwichtige manier. Dit heeft duidelijke banden met modelvooroordeel.’

5: Toegankelijke taal
Naast het bieden van nauwkeurige vertalingen in gevallen waarin het als autoriteit beschouwde antwoord in een andere taal is, stelt het artikel voor dat ingesloten antwoorden ‘geschreven moeten worden in zo eenvoudig mogelijke bewoordingen’.