Google näkee GPT-3-tyyppisen kyselyjärjestelmän ilman hakutuloksia

Google -tutkijoiden neljän henkilön kirjoittama uusi tutkimus esittää “asiantuntija”-järjestelmän, joka voi vastata käyttäjien kysymyksiin auktoriteettisesti ilman hakutuloksia, samalla tavalla kuin GPT-3 on tehnyt viime vuoden aikana.

Tutkimus, jonka otsikko on Rethinking Search: Making Experts out of Dilettantes, ehdottaa, että nykyinen käytäntö esittää käyttäjälle hakutuloksia on “kognitiivinen taakka”, ja ehdottaa parannuksia luonnollisen kielen prosessointijärjestelmän (NLP) kyvyssä antaa auktoriteettinen ja määrätty vastaus.

Esitetyssä “asiantuntija”-mallissa tuhannet mahdolliset hakutulokset sulautetaan kielen malliin sen sijaan, että ne olisivat käyttäjille saatavilla tutkimusresursseina.

Tutkimuksessa, jonka johtaa Donald Metzler Google-tutkimuksessa, ehdotetaan parannuksia monialueisiin vastauksiin, joita voidaan nykyään saada syvän oppimisen autoregressiivisista kielen malleista, kuten GPT-3. Pääparannukset ovat a) malli kykenee tarkasti mainitsemaan lähteet, jotka ovat vaikuttaneet vastaukseen, ja b) malli estää “hallusinointia” vastauksia tai keksimistä olemattomia lähteitä, mikä on nykyisissä arkkitehtuureissa ongelma.

Monialainen koulutus ja kyvyt

Lisäksi ehdotettu kielen malli, jota tutkimuksessa kuvataan “yksi malli kaikille tiedonhaun tehtäville”, koulutetaan useilla alueilla, mukaan lukien kuvat ja teksti. Sillä tarvitaan myös ymmärrys tiedon alkuperästä, jota GPT-3-tyyppisissä arkkitehtuureissa ei ole.

‘Jotta indeksit voidaan korvata yhdellä yhdistetyllä mallilla, mallin on oltava tietoinen dokumenttien tunnisteen valtakunnasta samalla tavalla kuin perinteiset indeksit. Tähän voidaan päästä siirtymällä perinteisistä kielen malleista korpusmalleihin, jotka mallintavat yhteyksiä termejen, asiakirjojen ja asiakirjojen välillä.’

Kuvassa yllä, tutkimuksesta, on kolme lähestymistapaa käyttäjän kysymyksiin: vasemmalla, kielen mallit, jotka ovat implisiittisesti Google-algoritmin hakutuloksissa, ovat valinneet ja priorisoineet “parhaan vastauksen”, mutta jättäneet sen yhdeksi useista tuloksista. Keskellä, GPT-3-tyyppinen keskusteluvastaus, joka puhuu auktoriteettisesti, mutta ei perusta väitteitään lähteisiin. Oikealla, ehdotettu “asiantuntija”-järjestelmä sisällyttää “parhaan vastauksen” suoraan didaktiseen vastaukseen, jossa on akateemiset viittaukset (joita ei kuvassa näy).

Poistaminen myrkyllisiä ja epätarkkoja tuloksia

Tutkijat huomauttavat, että haun indeksien dynaaminen ja jatkuvasti päivitettävä luonne on haaste monimutkaisen kielen mallin luomiselle. Esimerkiksi, kun kerran luotettu lähde on koulutettu suoraan mallin ymmärrykseen maailmasta, sen vaikutuksen poistaminen (esim. kun se menettää luotettavuutensa) voi olla vaikeampaa kuin vain poistaa URL osoite hakutuloksista, koska datakäsitteet voivat muuttua abstrakteiksi ja laajasti edustetuiksi koulutuksen aikana.

Lisäksi tällainen malli vaatisi jatkuvaa koulutusta, jotta se voisi tarjota saman tason vastauksia uusiin artikkeleihin ja julkaisuihin kuin Google nykyisin tarjoaa jatkuvasti hakemalla lähteitä. Tämä tarkoittaa jatkuvaa ja automaattista päivittämistä, toisin kuin nykyinen järjestelmä, jossa tehdään vain vähäisiä muutoksia hakualgoritmin painoihin ja asetuksiin, mutta itse algoritmi päivitetään harvoin.

Hyökkäyspinnat keskitetylle asiantuntija-orakkelille

Keskitetty malli, joka jatkuvasti assimiloituu ja yleistää uutta dataa, voi muuttaa hyökkäyspintaa hakukyselyille.

Nykyisin hyökkääjä voi saada hyödyn saavuttamalla korkean sijan domeeneille tai sivuille, jotka sisältävät virheellistä tietoa tai haitallista koodia. “Asiantuntija”-orakkelin valvonnassa mahdollisuus ohjata käyttäjiä hyökkäyskohteisiin vähenee, mutta myrkyllisen datan hyökkäyksen mahdollisuus lisääntyy.

Tämä johtuu siitä, että ehdotettu järjestelmä ei poista hakualgoritmiä, vaan piilottaa sen käyttäjältä, automatisoiden prioriteetin ylemmille tuloksille ja sulauttaa ne didaktiseen lauseeseen. Hyökkääjät ovat jo kauan pystyneet manipuloimaan Google-hakualgoritmiä myyntiin väärennettyjä tuotteita, ohjaamaan käyttäjiä haitallisten sivujen tai poliittisen manipuloinnin tarkoituksiin, muun muassa.

Ei yleinen tekoäly

Tutkijat korostavat, että tällainen järjestelmä ei todennäköisesti täytä yleisen tekoälyn (AGI) vaatimuksia, ja asettavat yleisen asiantuntija-vastausjärjestelmän luonnollisen kielen prosessoinnin yhteyteen, joka on altis nykyisille haasteille.

Tutkimus esittää viisi vaatimusta “laadukkaalle” vastaukselle:

1: Auktoriteetti
Kuten nykyisissä hakualgoritmeissa, “auktoriteetti” näyttää olevan johdettu korkealaatuisista domeeneista, jotka ovat itsessään auktoriteetteja. Tutkijat huomauttavat:

‘Vastaukset tulisi generoida vetämällä korkealaatuisista lähteistä. Tämä on toinen syy, miksi termien ja asiakirjojen metadata-välien selvittäminen on niin tärkeää. Jos kaikki asiakirjat korpuksessa on annotoitu auktoriteettisuusarvolla, tämä arvo tulisi ottaa huomioon mallin koulutuksessa, vastausten generoimisessa tai molemmissa.’

Vaikka tutkijat eivät ehdota, että perinteiset hakutulokset tulisivat saataville, jos “asiantuntija”-orakkelin tyyppinen järjestelmä osoittautuu suorituskykyiseksi ja suositummaksi, koko tutkimus esittää perinteisen hakujärjestelmän ja hakutulokset vanhentuneena tiedonhaun järjestelmänä.

‘Itse asiassa, että ranking on kriittinen osa tätä paradigmaa, on oire siitä, että hakujärjestelmä tarjoaa käyttäjille valikoiman potentiaalisia vastauksia, mikä aiheuttaa käyttäjälle merkittävän kognitiivisen taakan. Halu palauttaa vastauksia sen sijaan, että lista tuloksia, oli yksi motivaattori kysymys-vastausjärjestelmien kehittämiselle. ‘

2: Läpinäkyvyys
Tutkijat kommentoivat:

‘Missä tahansa mahdollisessa tapauksessa, tiedon lähteen tulisi olla käyttäjän saatavilla. Onko tämä ensisijainen lähde? Jos ei, mikä on ensisijainen lähde?’

3: Tasapuolisuuden käsittely
Tutkimus toteaa, että esikoulutetut kielen mallit on suunniteltu arvioimaan empiiristä totuutta, mutta yleistämään ja priorisoimaan hallitsevia trendejä datasta. Se myöntää, että tämä ohje avaa mallin hyökkäyksille (kuten Microsoftin vahingollinen chatbot vuonna 2016), ja että sivujärjestelmien on oltava olemassa suojelemaan tällaisia vinoutuneita järjestelmävastauksia.

4: Moninaisten näkökulmien mahdollistaminen
Tutkimus ehdottaa myös mekanismeja, joilla voidaan varmistaa moninaisten näkökulmien edustus:

‘Generoidut vastaukset tulisi edustaa moninaisia näkökulmia, mutta eivät saa olla polarisoivia. Esimerkiksi kiistanalaisiin aiheisiin liittyvissä kysymyksissä tulisi kattaa molemmat puolet aiheesta tasapuolisesti ja tasapainoisesti. Tämä liittyy läheisesti mallin vinoutumiseen.’

5: Helppokäyttöinen kieli
Lisäksi tutkimus ehdottaa, että kapseloitujen vastausten tulisi olla “mahdollisimman yksinkertaisia termejä”. Tämä vaatimus liittyy läheisesti myös mallin vinoutumiseen, josta on jo keskusteltu.