AI-mallit ja alustat

GPT-3: Vähäinen otanta oppiminen kielen mallinnukseen?

Kunal Kejriwal
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Keskeiset kohdatGPT-3:n few-oppiminen vähentää tarpeetta suurille tehtäväkohtaisille aineistoille…
Näytä lisää
  • GPT-3:n few-oppiminen vähentää tarpeetta suurille tehtäväkohtaisille aineistoille käyttämällä vain muutamia esimerkkejä konteksti-ikkunassaan.
  • Mallin 175 miljardin parametrin mittakaava mahdollistaa vahvan nolla- ja yksi-oppimisen suorituskyvyn moninaisilla NLP-tehtävillä ilman painopäivityksiä.
  • GPT-3:n koulutus suodatetuilla laadukkaille aineistoseoksilla estää ylisovittamisen ja parantaa yleistämiskykyä kapeiden jakautumien ulkopuolelle.

Viime vuosina AI- ja ML-teollisuudessa on tapahtunut merkittävä kehitys NLP-järjestelmien kehittämisessä ja soveltamisessa, kun tutkijat ovat pystyneet toteuttamaan NLP-käytäntöjä hyvin joustavilla ja tehtävänäkökohtaisilla tavoilla alihankintatehtävien siirtämiseksi.

Aluksi käytettiin yksikerroksisia esitysmuotoja, jotka käyttivät sana-vektoreita ja syötettiin tehtävänmukaisiin arkkitehtuureihin. Seuraavaksi käytettiin RNN-arkkitehtuureja, jotka käyttivät monikerroksisia esitysmuotoja ja kontekstuaalista tilaa muodostamaan parempia esitysmuotoja. Viimeksi meillä on siirtymällisiä kielen malleja tai esikoulutettuja toistuvia malleja, jotka ovat kokonaan poistaneet tarpeen tehtävänmukaisille arkkitehtuureille hienosäätämällä näitä verkkoja.

Siirtymälliset kielen mallit ovat osoittaneet olevan merkittävä käännekohta NLP-teollisuudessa, koska ne ovat johtaneet merkittäviin edistysaskeliin haastaviissa tehtävissä, kuten kysymysten vastaamisessa, lukemisen ymmärtämisessä tai tekstien lohkoissa, tekstuaalisessa johtamisessa ja paljon muussa.

Vaikka siirtymälliset kielen mallit ovat edullisia, niillä on merkittävä rajoitus, sillä ne vaativat tehtävänmukaista hienosäätöä tai tehtävänmukaista tietojoukkoa saavuttaakseen halutun suorituskyvyn tehtävässä. Lisäksi siirtymälliset kielen mallit vaativat kehittäjiltä satoja tuhansia esimerkkejä, jotka ovat erityisiä tiettyyn tehtävään.

On selvää, että tehtävänmukaisen tietojoukon ja tehtävänmukaisen hienosäädön vaatimusten poistaminen olisi erittäin toivottavaa ja hyödyllistä NLP-teollisuudelle monista syistä.

Ongelmat olemassa olevilla esikoulutetuilla siirtymällisillä kielen malleilla tai toistuvilla malleilla

  • Rajoittaa käytännöllisyyttä ja soveltamista

Ensisijaisesti, suuren tietojoukon vaatimus, joka sisältää merkittyjä tietoja kullekin tehtävälle, rajoittaa kielen mallien soveltamista. Kielen mallit löytävät soveltamisensa laajasta joukosta tehtäviä, jotka vaihtelevat lyhyen tarinan luomisesta, kieliopin virheiden korjaamisesta esimerkkien luomiseen tietylle käsitteelle. Joskus on haastavaa kerätä suuri valvottu tietojoukko, erityisesti kun prosessi tarvitsee toistamista kullekin yksittäiselle tehtävälle.

  • Hyödyntää harhaanjohtavia korrelaatioita koulutusaineistossa

Koulutusjakauman rajoitukset ja mallin ilmaisuvoima voivat johtaa perustavanlaatuiseen kasvuun potentiaalissa hyödyntää harhaanjohtavia korrelaatioita koulutusaineistossa. Harhaanjohtavien korrelaatioiden hyödyntäminen voi aiheuttaa ongelmia hienosäätö- ja esikoulutusparadigman aikana, koska siirtymälliset kielen mallit on suunniteltu siten, että ne imevät suuren määrän tietoa esikoulutuksen aikana.

Lisäksi aiempien mallien työ on osoittanut, että suuret mallit eivät aina johtaa parempiin tuloksiin jokaisessa tapauksessa. Lisäksi on osoitettu, että yleistyminen, joka saavutetaan tällaisessa paradigman mukaisesti, voi johtaa heikkoon suorituskykyyn, koska malli on erittäin spesifinen koulutusaineistolle ja ei pysty suoriutumaan tilanteista, jotka ovat koulutusaineiston ulottumattomissa.

  • Vertailu ihmisen oppimiseen

Lopulta, verrattaessa siirtymällisiin kielen malleihin, ihmiset eivät vaadi suurta koulutusaineistoa, kun on kyse useimpien kielen tehtävien oppimisesta. Useimmiten lyhyt ohje henkilön luonnollisella kielellä tai lyhyt esimerkki kielen tehtävästä on riittävä, jotta ihminen voi ymmärtää ja suoriutua kielen tehtävästä tietynlaisella kilpailukyvylle.

Ihmisen sopeutumiskyky on useita käytännöllisiä etuja, koska se mahdollistaa heidän vaihtaa eri taitojen välillä tai yhdistää niitä suoriutuakseen paremmin jonkin kielen tehtävän kanssa, mikä on NLP-järjestelmien ulottumattomissa.

Ratkaisu ongelmille metaoppimisen ja GPT-3:n avulla

Mahdollinen ratkaisu edellä mainittuihin haasteisiin on metaoppimisen käyttäminen, joka on modernin ML:n käsite, joka mahdollistaa mallin kehittää laajemman ja laajemman joukon taitoja ja tunnistaa kuvioita koulutuksen aikana ja käyttää näitä oppimia kykyjä häiriintymisen aikana sopeutua nopeasti tai tunnistaa vaadittavan tehtävän.

Metaoppiminen toteutetaan kielen mallin arkkitehtuurissa “kontekstissä oppimisen” tekniikalla, joka käyttää esikoulutetun kielen mallin tekstisyötettä tehtävän määrittelyksi. Prosessissa malli ehdottaa luonnollisen kielen ohjetta ja voi käyttää muutamia esimerkkejä, ja malli odotetaan täydentävän loput tehtävästä ennustamalla seuraavat vaiheet.

Ainoa suuri ongelma metaoppimisessa on, että vaikka se on osoittanut positiivista potentiaalia, se on edelleen heikompi kuin hienosäätölähestymistapa luonnollisen kielen arkkitehtuureissa, ja se tarvitsee edelleen parannusta, jotta se voisi tulla käytännölliseksi menetelmäksi kielen tehtävien voittamiseksi.

Lisäksi metaoppimisen lisäksi toinen menetelmä, joka on suosittu, on muuntogeenisten kielen mallien kapasiteetin lisääminen. Viime vuosina siirtymälliset mallit ovat kokeneet merkittävän kasvun kapasiteetissaan, RNSS18-malli, jossa on 100 miljoonaa parametriä, DCLT18-malli, jossa on 300 miljoonaa parametriä, RWC19-malli, jossa on 1,5 miljardia parametriä, SSP19-malli, jossa on 8 miljardia parametriä, RSR19-malli, jossa on 11 miljardia parametriä, ja TUR20-malli, jossa on 17 miljardia parametriä.

Mallin kapasiteetin lisääminen tai parametreja on historiallisesti johtanut parannuksiin tekstintuotannossa, ja on osoitettu, että log-häviö, joka korreloi alihankintatehtävien kanssa, seuraa sileää voimakkaan lakia, joka paranee mittakaavassa.

Se tuo meidät GPT-3-malliin, jossa on yli 175 miljardia parametriä, ja kun se julkaistiin, se oli siirtymällinen kielen malli, jolla oli suurin kapasiteetti. Käydään nyt läpi GPT-3-mallia.

Johdanto GPT-3-malliin

GPT-3 on itsestään aggressiivinen kielen malli, jossa on yli 175 miljardia parametriä, ja se julkaistiin OpenAI:ssa vuonna 2020. GPT-3 luokitellaan myös suureksi kielen malliksi, joka on kuten sen edeltäjä GPT-2-malli, dekooderi-vain syväoppimisen muuntogeeninen malli, joka käyttää konvoluutio-pohjaista arkkitehtuuria tekstidatan tuottamiseen.

GPT-3-malli mittaa omaa kontekstissä oppimiskykyään, ja GPT-3-mallia arvioidaan yli kahdellakymmenellä NLP-tietojoukolla ja useilla uusilla tehtävillä. Kullekin yksittäiselle tehtävälle GPT-3-malli arvioidaan kolmessa eri tilanteessa,

  • Vähäinen otanta tai kontekstissä oppiminen: Vähäisessä otannassa GPT-3-malli sallii niin monta jakoa, kuin mallin kontekstiuuniin mahtuu.
  • Yhden otannan oppiminen: Yhden otannan oppimisessa malli sallii vain yhden esimerkin.
  • Nollan otannan oppiminen: Nollan otannan oppimisessa ei ole esimerkkejä, ja malliin syötetään vain luonnollisen kielen ohje, joka kuvaa tehtävän.

Laajasti ottaen GPT-3-malli saavuttaa halutun suorituskyvyn nollan ja yhden otannan asetuksissa, ja vähäisessä otannassa se ylittää valmiiden siirtymällisten mallien suorituskyvyn useimmiten. Lisäksi GPT-3-malli suoriutuu hyvin yhden ja nollan otannan asetuksissa luonnollisen kielen tehtävissä, jotka on suunniteltu testaamaan lennossa olevaa päättelyä tai vaativat nopeaa huomiota, kuten uusien sanojen käyttöä lauseen jälkeen, sanojen purkamista tai aritmeettisia operaatioita. Toisaalta, kun se toimii vähäisessä otannassa, GPT-3-malli tuottaa synteettisiä uutisartikkeleita, jotka muistuttavat ihmisen kirjoittamista, kun ne ohjataan ihmisen arvioijille.

GPT-3-malli: Lähestymistapa

GPT-3-malli käyttää perinteistä esikoulutuslähestymistapaa, joka koostuu mallista, tietojoukosta ja koulutuksesta, ja se muistuttaa esikoulutusprosessia, jota RWC-19-siirtymällinen kielen malli seuraa. GPT-3-malli skaalaa mallin koon, tietojoukon koon, tietojoukon monimuotoisuuden ja pidentää koulutusjakson pituutta.

Malli käyttää myös kontekstissä oppimisen lähestymistapaa, joka muistuttaa RWC-19-mallin lähestymistapaa, mutta muuttaa asioita hieman tutkimalla systemaattisesti eri asetuksia kuvioiden oppimiseksi tietojoukon kontekstissa.

Joten aloitetaan tutkimalla näitä asetuksia ja arvioidaan, miten GPT-3-malli suoriutuu eri asetuksilla.

Hienosäätö

Hienosäätö on ollut perinteinen lähestymistapa siirto-oppimiseen perustuvissa kielimalleissa, ja se käsittää esikoulutetun mallin painojen päivittämisen kouluttamalla mallia valvotussa tietojoukossa, joka on spesifinen haluttuun tehtävään, ja satoja tuhansia merkittyjä esimerkkejä käytetään prosessin aikana.

Hienosäätölähestymistapa on hyödyllinen, koska se tarjoaa vahvan suorituskyvyn useilla mittareilla. Toisaalta hienosäätölähestymistapan pääasiallinen rajoitus on, että se vaatii uuden ja suuren tietojoukon kullekin yksittäiselle tehtävälle, sillä se voi hyödyntää harhaanjohtavia piirteitä koulutusaineistosta, ja se voi johtaa epäreiluun vertailuun ihmisen suorituskyvyn kanssa ja heikkoon yleistymiseen ulkopuolisille.

GPT-3-mallin nykyinen laajuus ei toteuta hienosäätölähestymistapaa sen tehtävänäkökohtaisen suorituskyvyn vuoksi, vaikka hienosäätöä voidaan soveltaa GPT-3-malliin tulevaisuudessa.

Vähäinen otanta

Vähäinen otanta on termi, joka viittaa asetukseen, jossa GPT-3-malli saa muutamia esimerkkejä tehtävästä häiriintymisen aikana ehdottamisena, mutta mallin painot eivät päivitetä. Vähäisessä otannassa tietojoukossa on yleensä esimerkki kontekstista ja toivottavasta täydennystä (esimerkiksi ranskalainen lause ja sen englanninkielinen käännös). Vähäinen otanta antaa mallille K esimerkkejä kontekstista ja täydennystä, ja se antaa mallille lopullisen kontekstin, ja odottaa mallin antavan täydennys.

Vähäisen otannan asetuksen pääasiallinen etu on, että se vähentää tarvetta tehtävänmukaiselle tietojoukolle, ja se vähentää myös potentiaalia oppia kapeaa jakautumista suuresta tietojoukosta, joka on hienosäädettynä kapeasti. Toisaalta vähäisen otannan asetuksen pääasiallinen haitta on, että tulokset, jotka saadaan vähäisessä otannassa, eivät ole vertailukelpoisia muihin valmiisiin malleihin, jotka on hienosäädettynä.

Yhden otannan oppiminen

Yhden otannan asetuksessa malli saa vain yhden esimerkin, ja loput ovat samanlaisia kuin vähäisessä otannassa. Yhden otannan asetuksen syy on, että se muistuttaa parhaiten sitä, miten tehtävät kommunikoidaan ihmisille. On yleensä annettava yksi esimerkki tehtävästä, muuten on vaikea ymmärtää tehtävän kontekstia.

Nollan otannan oppiminen

Nollan otannan asetuksessa ei ole esimerkkejä, ja malliin syötetään vain luonnollisen kielen ohje, joka kuvaa tehtävän. Nollan otannan menetelmä on se, joka tarjoaa eniten käytännöllisyyttä, on robusti ja välttää harhaanjohtavia korrelaatioita, mutta se on myös haasteellisin kaikista kolmesta asetuksesta. Se johtuu siitä, että joissakin tapauksissa on vaikea jopa ihmisille ymmärtää tehtävän kontekstia ilman, että he näkevät esimerkin ensin.

Kuitenkin joissakin tehtävissä nollan otannan asetus on se, joka muistuttaa lähinnä sitä, miten ihmiset suoriutuvat luonnollisen kielen tehtävistä.

Yllä oleva kuva vertaa vähäistä otantaa, yhden otannan ja nollan otannan asetusta suoritettaessa luonnollisen kielen tehtävää, jossa otetaan englanninkielinen lause ja käännetään se ranskaksi.

GPT-3: Mallin arkkitehtuuri

GPT-3-malli käyttää samaa arkkitehtuuria kuin GPT-2-malli, ja se sisältää esinormaaliutumisen, muutetun alkuarvon ja kääntävän tokenisoinnin tekniikoita, kuten ne olivat GPT-mallissa, lukuun ottamatta paikallista bändien harvaa huomioimista ja vaihtuvia tiheitä kerroksia muuntogeenisissä kerroksissa, samoin kuin Sparse Transformer.

Mallin suorituskyvyn riippuvuuden tutkimiseksi mallin koosta kehittäjät ovat kouluttaneet 8 eri mallin kokoa, jotka vaihtelevat kolmen eri tilastollisen mittausyksikön välillä 125 miljoonasta yli 175 miljardiin parametriin, joista viimeinen on GPT-3-malli. Aikaisemmat tutkimukset LLM-malleista ovat osoittaneet, että validointihäviön skaalaus riittävällä määrällä koulutusdataa pitäisi olla likimääräinen sileä voimakas laki funktiona kokoja. Kouluttamalla malleja, joilla on eri kokoja, kehittäjät voivat testata hypoteesia sekä alihankintatehtävissä että validointihäviksissä.

Yllä oleva kuva vertaa 8 eri mallin kokoa ja arkkitehtuuria, jotka kehitettiin GPT-3:n kehittämiseksi. Tässä n(params) määrittää koulutettavien parametreja, n(layers) määrittää mallin kerrosten määrän, d(model) määrittää yksiköiden määrän kunkin kerroksen pullonkaulassa, ja d(head) määrittää kunkin huomion pään ulottuvuuden. Kontekstiuuni on sama kaikissa malleissa, 2048 merkkiä.

Lisäksi tietojen siirtämisen vähentämiseksi solmujen välillä malli on jaettu GPU:iden mukaan syvyyden ja leveyden mukaan. Arkkitehtuuriin liittyvät parametrit on valittu laskennallisen tehokkuuden, kuormituksen ja tarkkuuden perusteella maksimoidaaksesi mallien asettelun tarkkuutta GPU:issa.

Koulutusaineistot

Tyypillisesti suuret kielen mallit käyttävät tietoja, jotka ovat laajentuneet merkittävästi viimeaikaisen kehityksen myötä, ja ne kulminoituvat Common Crawl -tietojoukkoon, joka sisältää yli biljoona eri sanaa. Tietojoukon koko on riittävä kouluttaa GPT-3-mallia ilman, että samaa jonoa päivitetään useita kertoja. Kuitenkin tutkimukset ja suorituskykyanalyysi osoittavat, että kevyesti suodatetut tai suodattamattomat versiot Common Crawl -tietojoukosta ovat huonoa laatua verrattuna kuraattoriin tietojoukkoon.

Ratkaistaakseen tietojoukon keskivertaisen laatua kehittäjät tekivät 3 askelta parantamaan tietojoukon laatua.

  1. Kehittäjät lataivat ja suodattivat Common Crawl -tietojoukon version, joka perustui laadukkaisiin viitekorpusiin.
  2. Kehittäjät suorittivat sumea duplikaattia asiakirjan tasolla tietojoukossa yrittäen säilyttää pidätettyjen validointijoukkojen eheyttä tehokkaana mittauksena ylikoulutukselle ja estääksesi redundanssin.
  3. Kehittäjät lisäsivät laadukkaita viitekorpusi tietojoukkoon Common Crawl -tietojoukon täydentämiseksi ja lisäämään tietojoukon monimuotoisuutta.

Seuraava kuva osoittaa lopullisen tietojoukon osuuden tai seoksen, jota käytettiin GPT-3-mallin kouluttamiseen. Common Crawl -data koostui yli 45 teratavun plain textistä ennen suodattamista, joka väheni 570 gigatavuun dataan suodattamisen jälkeen, mikä vastaa noin 400 miljardia byte-pareina koodattua tokenia. On huomattava, että tietojoukossa pidetään korkeampana laatuisina tietojoukkoja näytetään useammin kuin tietojoukon koosta.

Suuri huolenaihe suurilla esikoulutetuilla kielen malleilla, jotka on koulutettu suurella määrällä internet-dataa, on potentiaalinen saastuminen alihankintatehtävissä, koska niillä on kyky muistaa ja oppia suuren määrän sisältöä. Tämän potentiaalisen saastumisen vähentämiseksi kehittäjät etsivät yhteisiä kohtia kehittämisen ja testaamisen joukkojen kanssa, joita tutkitaan GPT-3:lle, ja yrittivät poistaa nämä yhteiset kohdat.

Yllä oleva kuva osoittaa laskennan kaiken laskennan, jota käytettiin GPT-3-mallin kouluttamiseen. Malli käyttää laskennan lakeja neuroverkkokielen malleille kouluttaakseen paljon suurempia malleja vähemmällä tokenilla kuin tyypillisesti. Tuloksena sekä GPT-3 että RoBERTa-Large-malli, joka on 10-kertaa pienempi kuin GPT-3, käytti lähes 50 petaflopsin laskentaa esikoulutusprosessin aikana.

Arviointi

Vähäisessä otannassa malli arvioi kunkin esimerkin arviointidatajoukossa piirtämällä K esimerkkiä satunnaisesti kyseisen tehtävän koulutusdatajoukosta ehdottamisena ja rajoittamalla sen 1 tai 2 uudelleenrivillä tehtävän mukaan. Storyclozessa ja LAMBADAssa malli piirtää ehdottamisena esimerkkejä kehittämismäärästä ja arvioi sen testijoukossa, koska valvottua koulutusdatajoukkoa ei ole saatavilla.

K voi olla mikä tahansa arvo välillä 0 ja mallin kontekstiuunin enimmäismäärä, joka on next = 2048 kaikille malleille, ja se sopii yleensä 10-100 esimerkkiin. Suuremmat K-arvot johtavat usein parempiin tuloksiin, mutta ei aina, joten kun malli on testijoukko ja erillinen kehittämismäärä, malli kokeilee muutamia K-arvoja kehittämismäärässä ja suorittaa parhaimman arvon testijoukossa.

Lisäksi tehtävissä, jotka vaativat oikean täydennystä useista vaihtoehdoista, kehittäjät antavat K esimerkkiä oikeasta täydennyksestä ja kontekstista, ja seuraa yhtä esimerkkiä kontekstista, ja tehtävät vertaillaan LM-todennäköisyyden perusteella kunkin täydennystä. Tehtävissä, jotka vaativat binäärisen luokittelun, mallit usein antavat vaihtoehdot semanttisesti ja tarkoituksenmukaisilla nimillä, ja käsitellään tehtävää monivalintana, ja toisinaan myös kehys tehtävä samalla tavalla kuin RSR-malli ja arkkitehtuuri.

Tehtävissä, jotka vaativat vapaamuotoista täydennystä, malli käyttää kaarihaun etsintää samoin parametrein kuin RSR-kehyksessä, kaaren pituudella 4 ja rangaistuksella 0,6. Malli on sitten pisteytetty F1-samankaltaisuuspisteiden, täsmällisen vastaavuuden tai BLEU-pistemäärän perusteella tietojoukon standardin mukaan.

Tulokset

Yllä oleva kuva esittää aiemmissa osioissa kuvattujen kahdeksan GPT-3-mallin koulutuskäyrät. KMH-kielimallin tulosten tapaan GPT-3:n suorituskyky noudattaa potenssilakia, kun koulutukseen käytetty laskentakapasiteetti hyödynnetään tehokkaasti. Laista poiketaan hieman vasta, kun kehitystä tarkastellaan kaksi kertaluokkaa laajemmalla alueella. Voisi ajatella, että ristientropiahävikin paraneminen johtuisi koulutusaineiston epäolennaisten yksityiskohtien mallintamisesta. Paraneminen johtaa kuitenkin johdonmukaisiin suorituskykyhyötyihin monenlaisissa luonnollisen kielen käsittelyn tehtävissä.

Ennen kahdeksan mallin arviointia monenlaisilla aineistoilla tietojoukot ryhmitellään kahdeksaan samankaltaisia tehtäviä edustavaan luokkaan:

  1. Perinteiset kielenmallinnustehtävät sekä niitä muistuttavat aukontäyttö- ja lauseiden tai kappaleiden täydentämistehtävät.
  2. Kysymyksiin vastaaminen ilman ulkoista lähdeaineistoa eli suljetun kirjan tehtävät.
  3. Kieltenvälisen kääntämisen arviointi, erityisesti yhden ja muutaman esimerkin avulla.
  4. Winograd Schema -tyyppiset tehtävät.
  5. Arkijärkeä vaativat päättely- ja kysymysvastaustehtävät.
  6. Luetun ymmärtäminen.
  7. SuperGLUE-vertailutehtävät.
  8. Luonnollisen kielen päättelyn eli NLI:n tutkiminen.

Kielenmallinnus, täydentäminen ja aukontäyttötehtävät

Tässä osiossa GPT-3:a arvioidaan perinteisissä kielenmallinnustehtävissä sekä tehtävissä, joissa ennustetaan tietty sana tai täydennetään kappale, lause tai tekstin osa. Tarkastellaan niitä lyhyesti.

Kielenmallinnus

GPT-3:n nollaesimerkkiasetelman perplexiteetti lasketaan PTB- eli Penn Treebank -aineistolla. Wikipediaan liittyvät tehtävät jätetään pois, koska aineisto sisältyy jo koulutusdataan. Myös miljardin sanan vertailuaineisto jätetään pois sen koulutusdatan kanssa päällekkäisen sisällön vuoksi. PTB välttää nämä ongelmat, koska se on nykyistä internetiä vanhempi. GPT-3-arkkitehtuurin suurin malli saavuttaa PTB-aineistolla uuden parhaan tuloksen 15 pisteen erolla ja perplexiteetin 20,50.

LAMBADA

LAMBADA-aineisto mittaa mallin kykyä käsitellä tekstien ja kappaleiden pitkän matkan riippuvuuksia. Mallin on ennustettava lauseen viimeinen sana luettuaan kappaleen kontekstiksi. Kielimallien jatkuva suurentaminen tuottaa tässä vertailussa väheneviä hyötyjä.

GPT-3 saavuttaa LAMBADAssa 76 prosentin tarkkuuden ja parantaa aiempien parhaiden mallien tulosta yli kahdeksan prosenttia. LAMBADA osoittaa myös muutaman esimerkin oppimisen joustavuuden. Täydennettävä osa on yleensä lauseen viimeinen sana, mutta kielimalli ei tiedä tätä, joten se antaa todennäköisyyksiä sekä oikealle loppusanalle että muille kappaleen jatkoille.

Kun GPT-3:lle annettuja esimerkkejä muokataan tietyllä tavalla, tarkkuus ylittää 86 prosenttia, mikä on yli 18 prosentin parannus aiempiin malleihin. Tulokset osoittavat myös, että muutaman esimerkin asetelman suorituskyky kasvaa mallin koon mukana. Vaikka menetelmä heikentää GPT-3-arkkitehtuurin pienimmän mallin tulosta 20 prosenttia, se parantaa 175 miljardin parametrin päämallin tarkkuutta 10 prosenttia.

Kysymyksiin vastaaminen ilman lähdeaineistoa

Suljetun kirjan kysymysvastaustehtävillä mitataan GPT-3:n kykyä vastata kysymyksiin laajan asiatietonsa perusteella. Koska mahdollisia kysymyksiä on paljon, tehtävä ratkaistaan yleensä tiedonhakujärjestelmän avulla. Se etsii olennaisen tekstin, minkä jälkeen toinen malli muodostaa vastauksen löydetyn tekstin ja kysymyksen perusteella.

Yllä oleva kuva vertaa GPT-3:n tuloksia muihin malleihin eri aineistoilla. TriviaQA-aineistossa tarkkuus on nollaesimerkkiasetelmassa 64,3 prosenttia, yhden esimerkin asetelmassa 68 prosenttia ja muutaman esimerkin asetelmassa 71,2 prosenttia.

GPT-3 ylittää nollaesimerkkiasetelmassa hienosäädetyn T5-11B-mallin tuloksen yli 14 prosentilla.

Kuva osoittaa GPT-3:n suorituskyvyn paranevan tasaisesti mallin koon kasvaessa. Tämä viittaa siihen, että kielimallit oppivat aineistosta lisää kapasiteettinsa kasvaessa.

Loppupäätelmät

GPT-3 oli suurten kielimallien alalla mullistava vaihe, sillä se venytti kielimallien mahdollisuuksien rajoja. GPT-3:n kehitystyö ja sen aikana ratkaistut haasteet loivat perustan GPT-4:lle, joka oli artikkelin kirjoitushetkellä edistynein ja tarkin suuri kielimalli.

Kunal Kejriwal on backend‑insinööri, joka on erikoistunut Pythoniin, PostgreSQL:ään, Redis:iin ja pilvi‑infrastruktuuriin GCP:ssä ja AWS:ssä. Kolmen vuoden kokemuksella tuotantojärjestelmien rakentamisesta ja skaalaamisesta hän kirjoittaa AI‑infrastruktuurista, hajautetuista järjestelmistä ja koneoppimisen työkuormien käyttöönoton arkkitehtuurista.