Google stellt ein GPT-3-ähnliches Abfragesystem vor, ohne Suchergebnisse

Ein neues Papier von vier Google -Forschern schlägt ein ‘Experten’-System vor, das in der Lage ist, den Benutzern autoritativ Antworten auf ihre Fragen zu geben, ohne eine Liste möglicher Suchergebnisse anzuzeigen, ähnlich wie das Q&A-Paradigma, das in den letzten Jahren durch den Einsatz von GPT-3 an die Öffentlichkeit gelangt ist.

Das Papier, betitelt Rethinking Search: Making Experts out of Dilettantes, schlägt vor, dass die aktuelle Standardmethode, dem Benutzer eine Liste von Suchergebnissen anzuzeigen, eine ‘kognitive Belastung’ darstellt, und schlägt Verbesserungen in der Fähigkeit eines natürlichen Sprachverarbeitungssystems (NLP) vor, um eine autoritative und definitive Antwort zu liefern.

Unter dem vorgeschlagenen Modell eines ‘Experten’, cross-domain-Orakels, werden die Tausenden von möglichen Suchergebnisquellen in ein Sprachmodell integriert, anstatt explizit als exploratorische Ressource für Benutzer verfügbar zu sein. Quelle: https://arxiv.org/pdf/2105.02274.pdf

Das Papier, geleitet von Donald Metzler bei Google Research, schlägt Verbesserungen in der Art von multi-domain-Oracle-Antworten vor, die derzeit von tiefen autoregressiven Sprachmodellen wie GPT-3 erhalten werden können. Die Hauptverbesserungen, die vorgeschlagen werden, sind a) dass das Modell in der Lage sein sollte, die Quellen, die die Antwort informiert haben, genau zu zitieren, und b) dass das Modell daran gehindert werden sollte, ‘halluzinierende‘ Antworten oder nicht existierende Quellenmaterialien zu erfinden, was derzeit ein Problem mit solchen Architekturen ist.

Mehrdomänen-Training und Fähigkeiten

Zusätzlich würde das vorgeschlagene Sprachmodell, das im Papier als ‘Ein Modell für alle Informationsabrufaufgaben’ charakterisiert wird, auf einer Vielzahl von Domänen trainiert, einschließlich Bilder und Text. Es würde auch ein Verständnis über die Herkunft von Wissen benötigen, was in GPT-3-ähnlichen Architekturen fehlt.

‘Um Indizes durch ein einziges, vereinigtes Modell zu ersetzen, muss es dem Modell selbst möglich sein, Wissen über das Universum der Dokumenten-Identifikatoren zu haben, genauso wie traditionelle Indizes. Eine Möglichkeit, dies zu erreichen, besteht darin, sich von traditionellen LMs wegzubewegen und hin zu Korpus-Modellen, die Beziehungen zwischen Termen, Dokumenten und Dokumenten-Beziehungen gemeinsam modellieren.’

In dem Bild oben, aus dem Papier, gibt es drei Ansätze auf eine Benutzeranfrage: links, haben die Sprachmodelle, die in Google’s algorithmischen Suchergebnissen implizit sind, eine ‘beste Antwort’ ausgewählt und priorisiert, aber sie als oberstes Ergebnis von vielen belassen. Mitte, eine GPT-3-ähnliche konversationale Antwort, die mit Autorität spricht, aber ihre Behauptungen nicht begründet oder Quellen zitiert. Rechts, das vorgeschlagene Expertensystem integriert die ‘beste Antwort’ aus den gerankten Suchergebnissen direkt in eine didaktische Antwort, mit akademischen Fußnoten (nicht im Originalbild dargestellt), die die Quellen angeben, die die Antwort informieren.

Entfernen von giftigen und ungenauen Ergebnissen

Die Forscher bemerken, dass die dynamische und ständig aktualisierte Natur von Suchindizes eine Herausforderung darstellt, um sie vollständig in einem maschinellen Lernmodell dieser Art zu replizieren. Zum Beispiel, wenn eine einst vertrauenswürdige Quelle direkt in das Verständnis der Welt des Modells trainiert wurde, kann es schwieriger sein, ihre Einflussnahme zu entfernen (zum Beispiel, nachdem sie diskreditiert wurde), als einfach eine URL aus den Suchergebnissen zu entfernen, da Datenkonzepte während der Assimilation im Training abstrakt und weit verbreitet werden können.

Angriffsflächen für ein zentrales Experten-Orakel

Ein zentrales Modell, das ständig neue Daten assimiliert und verallgemeinert, kann die Angriffsfläche für Suchanfragen verändern.

Aktuell kann ein Angreifer einen Vorteil erlangen, indem er eine hohe Platzierung für Domänen oder Seiten erreicht, die entweder Fehlinformationen oder schädliche Code enthalten. Unter dem Schutz eines mehr opaken ‘Experten’-Orakels ist die Möglichkeit, Benutzer zu Angriffsdomänen umzuleiten, stark reduziert, aber die Möglichkeit, giftige Datenangriffe zu injizieren, ist stark erhöht.

Dies liegt daran, dass das vorgeschlagene System den Suchalgorithmus nicht eliminiert, sondern ihn vor dem Benutzer versteckt, effektiv die Priorität des oberen Ergebnisses/Ergebnisse automatisiert und es in eine didaktische Aussage integriert. Böswillige Benutzer haben lange Zeit in der Lage gewesen, Angriffe gegen den Google-Suchalgorithmus zu orchestrieren, um falsche Produkte zu verkaufen, Benutzer zu Schadsoftware-Verteilungsdomänen zu leiten oder für Zwecke der politischen Manipulation, unter vielen anderen Anwendungsfällen.

Nicht AGI

Die Forscher betonen, dass ein solches System unwahrscheinlich als künstliche allgemeine Intelligenz (AGI) qualifiziert werden würde und stellen die Perspektive eines universellen Experten-Responders in den Kontext der natürlichen Sprachverarbeitung, unterworfen allen Herausforderungen, die solche Modelle derzeit gegenüberstehen.

Das Papier skizziert fünf Anforderungen für eine ‘hohe Qualität’-Antwort:

1: Autorität
Wie bei aktuellen Ranglistenalgorithmen wird ‘Autorität’ aus Zitaten von hochwertigen Domänen abgeleitet, die selbst als autoritativ gelten. Die Forscher bemerken:

‘Antworten sollten Inhalte generieren, indem sie von hoch autoritativen Quellen ziehen. Dies ist ein weiterer Grund, warum die Herstellung expliziter Verbindungen zwischen Termen und Dokumenten-Metadaten so wichtig ist. Wenn alle Dokumente in einem Korpus mit einer Autoritäts-Score annotiert sind, sollte dieser Score bei der Modellierung, der Generierung von Antworten oder beidem berücksichtigt werden.’

Obwohl die Forscher nicht vorschlagen, dass traditionelle Suchergebnisse unverfügbar werden, wenn ein Experten-Orakel dieser Art gefunden wird, das performant und beliebt ist, stellt das gesamte Papier das traditionelle Ranglistensystem und die Suchergebnislisten im Licht eines ‘jahrzehntealten’ und veralteten Informationsabrufsystems dar.

‘Die Tatsache, dass Rangliste ein kritischer Bestandteil dieses Paradigmas ist, ist ein Symptom des Retrieval-Systems, das dem Benutzer eine Auswahl von möglichen Antworten bietet, was eine erhebliche kognitive Belastung auf den Benutzer ausübt. Der Wunsch, Antworten anstelle von gerankten Listen von Ergebnissen zurückzugeben, war einer der motivierenden Faktoren für die Entwicklung von Frage-Antwort-Systemen. ‘

2: Transparenz
Die Forscher bemerken:

‘Wenn immer möglich, sollte die Herkunft der präsentierten Informationen dem Benutzer zugänglich gemacht werden. Ist dies die primäre Quelle der Information? Wenn nicht, was ist die primäre Quelle?’

3: Umgang mit Voreingenommenheit
Das Papier bemerkt, dass vorgebildete Sprachmodelle nicht dazu designed sind, empirische Wahrheit zu bewerten, sondern Trends in den Daten zu verallgemeinern und zu priorisieren. Es räumt ein, dass diese Direktive das Modell anfällig für Angriffe macht (wie es bei Microsofts unbeabsichtigtem rassistischem Chatbot im Jahr 2016 der Fall war) und dass zusätzliche Systeme erforderlich sein werden, um gegen solche voreingenommenen Systemantworten zu schützen.

4: Ermöglichung vielfältiger Perspektiven
Das Papier schlägt auch Mechanismen vor, um eine Vielzahl von Perspektiven zu gewährleisten:

‘Generierte Antworten sollten eine Reihe von verschiedenen Perspektiven darstellen, aber nicht polarisierend sein. Zum Beispiel sollten für Anfragen zu kontroversen Themen beide Seiten des Themas in einer fairen und ausgewogenen Weise abgedeckt werden. Dies hat offensichtliche Verbindungen zu Modell-Voreingenommenheit.’

5: Zugängliche Sprache
Außerdem schlägt das Papier vor, dass eingeschlossene Antworten in ‘möglichst einfachen Begriffen’ geschrieben werden sollten.