Google wyobraża sobie system zapytań podobny do GPT-3, bez wyników wyszukiwania

Nowy artykuł napisany przez czterech badaczy z Google proponuje system “ekspertów”, który mógłby autorytatywnie odpowiadać na pytania użytkowników bez prezentowania listy możliwych wyników wyszukiwania, podobnie jak w przypadku paradigmy Q&A, która zyskała popularność dzięki GPT-3 w ciągu ostatniego roku.

Artykuł, zatytułowany Rethinking Search: Making Experts out of Dilettantes, sugeruje, że obecny standard prezentowania użytkownikowi listy wyników wyszukiwania w odpowiedzi na zapytanie jest “obciążeniem poznawczym” i proponuje ulepszenia w możliwościach systemu przetwarzania języka naturalnego (NLP) w celu zapewnienia autorytatywnej i ostatecznej odpowiedzi.

Zgodnie z proponowanym modelem ‘eksperta’, cross-domenowego oracles, tysiące możliwych źródeł wyników wyszukiwania zostaną wbudowane w model językowy zamiast być jawnymi zasobami dla użytkowników do oceny i nawigacji. Źródło: https://arxiv.org/pdf/2105.02274.pdf

Artykuł, kierowany przez Donalda Metzlera z Google Research, proponuje ulepszenia w typie odpowiedzi oracles multi-domenowych, które można obecnie uzyskać z głębokich modeli językowych autoregresyjnych, takich jak GPT-3. Główne ulepszenia obejmują: a) model mógłby dokładnie cytować źródła, które poinformowały odpowiedź, oraz b) model mógłby być zapobiegany przed “halucynacjami” odpowiedzi lub wymyślaniem nieistniejących materiałów źródłowych, co jest obecnie problemem z takimi architekturami.

Szkolenie wielodomenowe i możliwości

Ponadto proponowany model językowy, określony w artykule jako “Jeden model dla wszystkich zadań wyszukiwania informacji”, byłby szkolony na różnych domenach, w tym obrazach i tekście. Wymagałby również zrozumienia pochodzenia wiedzy, które brakuje w architekturach stylu GPT-3.

‘Aby zastąpić indeksy jednym, zunifikowanym modelem, model musi mieć wiedzę o uniwersum identyfikatorów dokumentów, tak jak tradycyjne indeksy. Jednym ze sposobów osiągnięcia tego jest odejście od tradycyjnych LM i przesunięcie się w kierunku modeli korpusu, które wspólnie modelują relacje termin-termin, termin-dokument i dokument-dokument.’

Na powyższym obrazie, z artykułu, trzy podejścia do odpowiedzi na zapytanie użytkownika: po lewej, modele językowe jawne w wynikach wyszukiwania Google wybrały i przyjęły “najlepszą odpowiedź”, ale pozostawiły ją jako najwyższy wynik wśród wielu. W środku, odpowiedź konwersacyjna w stylu GPT-3, która mówi z autorytetem, ale nie uzasadnia swoich twierdzeń ani nie cytuje źródeł. Po prawej, proponowany system ekspertów wbudowuje “najlepszą odpowiedź” z wyników wyszukiwania bezpośrednio w didaktyczną odpowiedź, z cytatem w stylu akademickim (nie przedstawionym na oryginalnym obrazie) wskazującym źródła, które poinformowały odpowiedź.

Usuwanie trujących i nieprecyzyjnych wyników

Badacze zauważają, że dynamiczna i ciągle aktualizowana natura indeksów wyszukiwania jest wyzwaniem do całkowitego odtworzenia w modelu machine learning o tym charakterze. Na przykład, gdzie kiedyś zaufany źródło zostało bezpośrednio włączone do zrozumienia modelu świata, usunięcie jego wpływu (na przykład po jego dyskwalifikacji) może być trudniejsze niż po prostu usunięcie adresu URL z wyników wyszukiwania, ponieważ pojęcia danych mogą stać się abstrakcyjne i szeroko reprezentowane podczas asymilacji w trakcie szkolenia.

Ponadto taki model wymagałby ciągłego szkolenia, aby zapewnić taki sam poziom responsywności na nowe artykuły i publikacje, jak obecnie zapewniany przez ciągłe przeszukiwanie źródeł przez Google. Skutecznie oznacza to ciągłe i zautomatyzowane wdrożenie, w przeciwieństwie do obecnego reżimu, w którym drobne poprawki są wprowadzane do wag i ustawień algorytmu wyszukiwania, ale sam algorytm jest zwykle aktualizowany tylko okazjonalnie.

Powierzchnie ataku dla scentralizowanego oracles ekspertów

Scentralizowany model ciągle asymilujący i generalizujący nowe dane mógłby przekształcić powierzchnię ataku dla zapytań wyszukiwania.

Obecnie atakujący może uzyskać korzyść, uzyskując wysoką rangę dla domen lub stron, które zawierają fałszywe informacje lub złośliwy kod. Pod auspicjami bardziej nieprzezroczystego “oracles ekspertów”, możliwość przekierowania użytkowników do atakujących domen jest znacznie zmniejszona, ale możliwość wstrzyknięcia ataków danych trujących jest znacznie zwiększona.

To dlatego, że proponowany system nie eliminuje algorytmu rangowania wyszukiwania, ale ukrywa go przed użytkownikiem, efektywnie automatyzując priorytet najwyższego wyniku/i i wbudowując go (lub je) w didaktyczne oświadczenie. Użytkownicy złośliwi od dawna są w stanie manipulować algorytmem wyszukiwania Google, aby sprzedawać fałszywe produkty, kierować użytkowników do domen rozprzestrzeniających złośliwe oprogramowanie, lub do celów manipulacji politycznej, wśród wielu innych przypadków użycia.

Nie AGI

Badacze podkreślają, że taki system byłby mało prawdopodobny, aby kwalifikować się jako Sztuczna Inteligencja Ogólna (AGI), i umieszczają perspektywę powszechnego eksperta odpowiedzi w kontekście przetwarzania języka naturalnego, podlegającego wszystkim wyzwaniom, które takie modele obecnie napotykają.

Artykuł przedstawia pięć wymagań dla “wysokiej jakości” odpowiedzi:

1: Autorytet
Jak w przypadku obecnych algorytmów rangowania, “autorytet” wydaje się pochodzić z cytowania z wysokiej jakości domen, które są uważane za autorytatywne same w sobie. Badacze zauważają:

‘Odpowiedzi powinny generować treści, pobierając je z wysokiej jakości źródeł. To jest kolejny powód, dla którego ustanowienie bardziej jawnych połączeń między sekwencjami terminów a metadanymi dokumentu jest tak kluczowe. Jeśli wszystkie dokumenty w korpusie są opatrzonych oceną autorytatywności, ta ocena powinna być brana pod uwagę podczas szkolenia modelu, generowania odpowiedzi lub obu.’

Chociaż badacze nie sugerują, że tradycyjne wyniki wyszukiwania SERPs staną się niedostępne, jeśli oracles ekspertów tego typu okaże się wydajny i popularny, cały artykuł przedstawia tradycyjny system rangowania i listy wyników wyszukiwania jako “dekady stare” i przestarzałe systemy wyszukiwania informacji.

‘Sam fakt, że rangowanie jest krytycznym składnikiem tego paradygmatu, jest objawem systemu wyszukiwania, który zapewnia użytkownikom wybór potencjalnych odpowiedzi, co powoduje dość znaczne obciążenie poznawcze użytkownika. Pragnienie zwrócenia odpowiedzi zamiast listy wyników było jednym z motywów rozwoju systemów odpowiedzi na pytania. ‘

2: Przejrzystość
Badacze komentują:

‘Gdziekolwiek jest to możliwe, pochodzenie informacji przedstawianych użytkownikowi powinno być udostępnione im. Czy jest to podstawowe źródło informacji? Jeśli nie, co jest podstawowym źródłem?’

3: Radzenie sobie z uprzedzeniami
Artykuł zauważa, że wstępnie wytrenowane modele językowe są zaprojektowane nie do oceny empirycznej prawdy, ale do uogólniania i priorytetyzowania dominujących trendów w danych. Przyznaje, że ta dyrektywa otwiera model na atak (jak to miało miejsce w przypadku nieumyślnie rasistowskiego chatbota Microsoftu w 2016 roku), i że pomocnicze systemy będą potrzebne do zabezpieczenia przed takimi uprzedzonymi odpowiedziami systemu.

4: Włączanie różnorodnych punktów widzenia
Artykuł proponuje również mechanizmy, aby zapewnić różnorodność punktów widzenia:

‘Wygenerowane odpowiedzi powinny reprezentować szereg różnorodnych perspektyw, ale nie powinny być polaryzujące. Na przykład, dla zapytań dotyczących kontrowersyjnych tematów, obie strony tematu powinny być przedstawione w sposób sprawiedliwy i zrównoważony. To ma bliskie związki z uprzedzeniami modelu.’

5: Dostępny język
Oprócz zapewnienia dokładnych tłumaczeń w przypadku, gdy uznana za autorytatywną odpowiedź jest w innym języku, artykuł sugeruje, że odpowiedzi powinny być “napisane w możliwie prostych słowach”.