Google își imaginează un sistem de interogare similar cu GPT-3, fără rezultate de căutare

O nouă lucrare de cercetare de la patru cercetători de la Google propune un sistem “expert” capabil să răspundă în mod autoritar la întrebările utilizatorilor, fără a prezenta o listă de rezultate de căutare posibile, similar cu paradigmele Q&A care au ajuns în atenția publică prin apariția GPT-3 în ultimul an.

Lucrarea, intitulată Reevaluarea căutării: Transformarea amatorilor în experți, sugerează că standardul actual de prezentare a utilizatorului cu o listă de rezultate de căutare în răspuns la o întrebare este o “povară cognitivă” și propune îmbunătățiri în capacitatea unui sistem de procesare a limbajului natural (NLP) de a oferi un răspuns autoritar și definitiv.

Sub modelul propus al unui ‘expert’, oracle cu domenii multiple, miile de surse de rezultate de căutare posibile vor fi integrate într-un model de limbaj în loc de a fi disponibile în mod explicit ca resursă de explorare pentru utilizatori pentru a evalua și naviga singuri. Sursă: https://arxiv.org/pdf/2105.02274.pdf

Lucrarea, condusă de Donald Metzler de la Google Research, propune îmbunătățiri ale tipului de răspunsuri oracle cu domenii multiple care pot fi obținute în prezent de la modelele de limbaj autoregresive de învățare profundă, cum ar fi GPT-3. Principalele îmbunătățiri propuse sunt a) faptul că modelul ar trebui să poată cita în mod precis sursele care au informat răspunsul și b) faptul că modelul ar trebui să fie prevenit să “halucineze” răspunsuri sau să inventeze material sursă inexistent, ceea ce este în prezent o problemă cu astfel de arhitecturi.

Antrenament multi-domeniu și capacități

În plus, modelul de limbaj propus, caracterizat în lucrare ca “Un singur model pentru toate sarcinile de recuperare a informațiilor”, ar trebui să fie antrenat pe o varietate de domenii, incluzând imagini și text. De asemenea, ar trebui să aibă o înțelegere despre proveniența cunoștințelor, care lipsește în arhitecturile de tip GPT-3.

‘Pentru a înlocui indicii cu un model unic și unificat, trebuie să fie posibil ca modelul însuși să aibă cunoștințe despre universul identificatorilor de documente, în același mod în care indicii tradiționali o fac. Un mod de a realiza acest lucru este de a se îndepărta de la modelele de limbaj tradiționale și de a se îndrepta către modele de corpus care modelează în mod conjunct relațiile termen-termen, termen-document și document-document.’

În imaginea de mai sus, din lucrare, trei abordări în răspuns la o întrebare a utilizatorului: stânga, modelele de limbaj implicite în algoritmul de căutare al lui Google au ales și au priorizat un “răspuns cel mai bun”, dar l-au lăsat ca rezultat de căutare de sus. Centru, un răspuns conversațional de tip GPT-3, care vorbește cu autoritate, dar nu justifică afirmațiile sale și nu citează surse. Dreapta, sistemul expert propus incorporează “cel mai bun răspuns” din rezultatele de căutare clasificate direct într-un răspuns didactic, cu citări în stil academic (nu afișate în imaginea originală) care indică sursele care informează răspunsul.

Eliminarea rezultatelor otrăvitoare și inexacte

Cercetătorii observă că natura dinamică și în continuă actualizare a indiciilor de căutare este o provocare pentru a fi replicată într-un mod complet într-un model de învățare a mașinii de acest tip. De exemplu, în cazul în care o sursă de încredere a fost antrenată direct în înțelegerea modelului asupra lumii, eliminarea influenței sale (de exemplu, după ce a fost descalificată) poate fi mai dificilă decât simpla eliminare a unei adrese URL din rezultatele de căutare, deoarece conceptele de date pot deveni abstracte și reprezentate pe scară largă în timpul asimilării în antrenament.

În plus, un astfel de model ar trebui să fie antrenat în mod continuu pentru a oferi același nivel de răspuns la articole și publicații noi, la fel ca în prezent cu indexarea constantă a surselor de către Google. Acest lucru înseamnă, în esență, o actualizare continuă și automată, în contrast cu regimul actual, în care se fac modificări minore la greutățile și setările algoritmului de căutare liber, dar algoritmul însuși este de obicei actualizat doar ocazional.

Suprafețe de atac pentru un oracle expert centralizat

Un model centralizat care asimilează și generalizează în mod constant noi date poate transforma suprafața de atac pentru interogările de căutare.

În prezent, un atacator poate obține beneficii prin obținerea unui rang înalt pentru domenii sau pagini care conțin informații false sau coduri malice. Sub auspiciile unui “expert” oracle mai opac, oportunitatea de a redirecționa utilizatorii către domenii de atac este diminuată considerabil, dar posibilitatea de a injecta atacuri de date otrăvitoare este mult crescută.

Acest lucru se datorează faptului că sistemul propus nu elimină algoritmul de clasificare a căutării, ci îl ascunde de la utilizator, automatizând în mod eficient prioritatea rezultatului/rezultatelor de sus și încorporându-le într-o declarație didactică. Utilizatorii maliciosi au putut orchestra atacuri împotriva algoritmului de căutare Google, pentru a vinde produse false, pentru a direcționa utilizatorii către domenii care distribuie malware, sau în scopuri de manipulare politică, printre multe alte cazuri de utilizare.

Nu este IA generală

Cercetătorii subliniază că un astfel de sistem ar fi puțin probabil să fie calificat ca Inteligență Artificială Generală (IA generală) și plasează perspectiva unui răspunsor universal expert în contextul procesării limbajului natural, supus tuturor provocărilor cu care se confruntă astfel de modele în prezent.

Lucrarea descrie cinci cerințe pentru un răspuns de “înaltă calitate”:

1: Autoritate
La fel ca în cazul algoritmilor de clasificare actuale, “autoritatea” pare a fi derivată din citarea unor domenii de înaltă calitate care sunt considerate autoritare în ele însele. Cercetătorii observă:

‘Răspunsurile ar trebui să genereze conținut prin extragerea din surse foarte autoritare. Acesta este un alt motiv pentru care stabilirea unor legături mai explicite între secvențe de termeni și metadatele documentului este atât de crucială. Dacă toate documentele dintr-un corpus sunt annotate cu un scor de autoritate, acel scor ar trebui să fie luat în considerare la antrenarea modelului, generarea de răspunsuri sau ambele.’

Deși cercetătorii nu sugerează că rezultatele tradiționale SERP ar deveni indisponibile dacă un oracle expert de acest tip ar fi găsit a fi performant și popular, întreaga lucrare prezintă sistemul tradițional de clasificare și rezultate de căutare, în lumina unui sistem “de zeci de ani” și învechit de recuperare a informațiilor.

‘Faptul că clasificarea este o componentă critică a acestui paradigme este un simptom al sistemului de recuperare care oferă utilizatorilor o selecție de răspunsuri posibile, ceea ce induce o povară cognitivă semnificativă asupra utilizatorului. Dorința de a returna răspunsuri în loc de liste de rezultate clasificate a fost unul dintre factorii motivaționali pentru dezvoltarea sistemelor de întrebări și răspunsuri. ‘

2: Transparență
Cercetătorii comentează:

‘Oricând este posibil, proveniența informațiilor prezentate utilizatorului ar trebui să fie disponibilă acestuia. Este aceasta sursa principală de informații? Dacă nu, care este sursa principală?’

3: Gestionarea prejudecăților
Lucrarea notează că modelele de limbaj preantrenate sunt proiectate pentru a nu evalua adevărul empiric, ci pentru a generaliza și a prioritiza tendințele dominante din date. Acest lucru deschide modelul la atac (așa cum s-a întâmplat cu chatbot-ul rasist al lui Microsoft în 2016), și că sisteme auxiliare vor fi necesare pentru a proteja împotriva unor astfel de răspunsuri sistemice prejudecate.
4: Permisivitatea unor perspective diverse
Lucrarea propune și mecanisme pentru a asigura o pluralitate de puncte de vedere:

‘Răspunsurile generate ar trebui să reprezinte o gamă de perspective diverse, dar nu ar trebui să fie polarizante. De exemplu, pentru întrebări despre subiecte controversate, ambele părți ale subiectului ar trebui să fie acoperite în mod echitabil și echilibrat. Acest lucru are legături strânse cu prejudecățile modelului.’

5: Limbaj accesibil
Pe lângă furnizarea de traduceri exacte în cazurile în care răspunsul autoritar considerat este într-o limbă diferită, lucrarea sugerează că răspunsurile încapsulate ar trebui să fie “scrise în termeni cât mai simpli posibili”.